視頻分析技術本身不是一項新技術，但是其在視頻監控系統中的應用還僅僅是處于起步階段，它給視頻監控系統帶來了顛覆性的革命，具有美好的發展遠景。目前，視頻分析系統本身有一些技術問題有待提升，下面是一些需要克服的應用難點。
聲明：部分內容及圖片來源于網絡，如有侵權請聯系刪除。
1.光照適應性
通常，視頻監控系統需要24小時晝夜工作，其環境的光照情況也是一直處于變化的狀態中，如晝夜的交替、陰、晴、雨、雪、霧等天氣條件及外界各種光源干擾，如照明燈光、逆光、反光、車燈，還有室外云彩、云影的動態變化等，所有這些情況都對視頻分析核心算法的光照適應性提出了很嚴格的要求，視頻分析算法應該具有先進的背景學習、更新、維護功能，從而消除各種現場光線變化導致的誤報與漏報。
2.自然天氣變化
雨、雪、霧、沙塵天氣、煙霧、氣流、云影等，體現的不僅僅是光照的變化，而是真正的圖像像素的變化，這些"小小的假象"會導致系統視為場景中真的有物體在移動，從而干擾了真正的目標探測，并浪費了系統資源。因此，需要采用各種"過濾"機制將這些干擾進行過濾處理，來適應各種天氣及自然條件變化現象。
3.背景的高頻率變化
通常，在視頻圖像背景中，可能出現搖動的樹葉、晃動的波浪、光線反射、物體的反光、草地的微動等"規律運動"現象，而這些現象都會造成畫面像素的變化進而造成誤報。系統需要具有先進的過濾器，實現對規則往復性、細小運動進行過濾，集中精力在前景。
4.陰影區域與高亮區域
視頻內容分析算法通常是基于YUV色彩空間的"y"信號，就是對亮度信號進行探測與跟蹤，因此對于視頻場景中背景和前最的對比度有一定要求。而在高亮區域，顏色近乎白色，在陰影區城灰度的范圍過窄，而對比度低，從而導致系統探測、跟蹤能力降低。
