其中，底層視覺模塊主要包括運動檢測、目標跟蹤等運動分析方法；數據融合模塊主要解決多相機數據融合處理的問題；高層視覺模塊主要包括目標識別和運動信息的語義理解與描述。
如何使系統適應環境是場景建模和更新的核心問題。利用場景模型，我們可以檢測運動，然後對檢測到的運動區域進行分類和跟蹤。接下來是多相機數據融合的問題。最後壹步是事件檢測和事件理解與描述。通過對前面處理得到的人體運動信息進行分析和理解，最終給出我們需要的語義數據。下面進壹步解釋基本的處理過程。序列圖像包含大量的信息。要保證目標跟蹤的實時性要求，必須選擇計算量小的算法。魯棒性是目標跟蹤的另壹個重要性能。提高算法的魯棒性是為了使算法對復雜背景、光照變化和遮擋有很強的適應性，這是以復雜運算為代價的。