與有人駕駛飛機相比，無人機更小、更輕、更便宜，更適合執行危險任務。搭載視覺傳感器的小型無人機是反恐、交通監控、救災、戰場監視等的理想平臺。全景圖像拼接、運動物體檢測和跟蹤是完成這些任務的關鍵技術。由於平臺的運動，除了前景物體外，背景也在運動，因此背景的運動補償是無人機航拍視頻分析處理的必要步驟。背景運動補償模塊接收後對視頻幀進行註冊並生成相應的對齊圖像，可以將幀序列拼接在壹起以生成全景圖以掌握整體信息。此外，可以通過幀減法檢測運動物體，並通過跟蹤模塊跟蹤感興趣的物體。在本文中，我們首先提取相鄰幀的 Harris 特征，然後介紹壹種基於異常值去除和穩健特征匹配的 - 估計器，之後，利用 MDLT 方法找到幀的單應性。根據單應性，幀被註冊並補償平臺的自我運動，並且全景由幀序列拼接。最後，使用5幀減法完成運動物體檢測，並通過基於相關濾波器的視覺跟蹤算法跟蹤感興趣的物體。
圖像配準是利用匹配策略在兩幅圖像中找到對應特征點的正確位置，然後得到兩幅圖像之間的單應性進行配準。本文的圖像配準算法包括幾個部分：Harris特征點的提取和描述，用於穩健特征匹配的 - 估計器，用於估計單應性的 MDLT 方法。首先從兩幅圖像中提取和描述特征點，得到匹配點，然後去除離群點，對特征進行魯棒匹配 - 估計器。最後，我們使用MDLT方法對滿足圖像不同部分的單應性進行加權估計，得到準確的投影模型參數來配準圖像幀。
對於要匹配的圖像對，我們執行Harris等特征匹配方法來確定N個初始匹配對應關系：
其中 ， 是匹配特征點的二維坐標， 如果是內點，則滿足以下關系：
變換 可用 對內點匹配對最小二乘估計：
但這些點可能存在異常值，應去除異常值以正確估計變換。目前的方法通常使用兩步策略或假設和驗證技術（如RANSAC）來解決問題，這些方法總是非常耗時甚至無法得到合理的結果。
基於魯棒性的特征匹配方法 -估計器直接估計與異常值的初始對應關系的轉換。為了將殘差向量自動分類為異常值集和內部值集，經典最小二乘損失函數對異常值敏感。 範數適合解決這樣的問題，但由於觀察中包含噪聲，因此不可靠。通常情況下 範數被改編為最接近的凸松弛 正則化進行權衡。 估計器對於特征匹配更加健壯和有效。損失函數是
其中 是 範數的操作符。
將通過對初始特征點應用全局變換來去除異常值。
對於低空航拍視頻，幀之間的視圖不完全因旋轉不同，也不完全是平面場景，使用基本單應扭曲不可避免地會產生錯位或視差錯誤。Julio Zaragoza等提出的APAP(As-Projective-As-Possible)圖像拼接方法假設圖像的細節滿足不同的單應性，並使用位置相關單應性來扭曲每個像素，使用MDLT加權估計單應性方法，可以減輕未對準和視差誤差的影響。
直接線性變換（DLT）是從壹組噪聲點匹配中估計單應性的基本方法。將單應矩陣向量化為向量後，只有兩行線性無關，令 為第 個點匹配計算的 LHS 矩陣的前兩行。對所有 垂直堆疊 到矩陣A。
那麽優化目標是
整個圖像只使用壹個單應性重建 用於翹曲。
通過從加權問題估計單應性來改進MDLT方法，
權重 給更接近 的第 個點匹配給予更高的重要性。
為了防止估計中的數值問題，他們用壹個在0和1之間的小值 來抵消權重。
計算每個像素的單應性是不必要的浪費。因此，我們將圖像均勻地劃分為多個單元格的網格，並將每個單元格的中心作為 。
將航拍視頻幀全景拼接後，就可以得到大尺度場景的靜態圖像，掌握整體信息。
首先，我們使用單應性扭曲要拼接的兩個幀，將像素映射到全景中的位置，依次拼接幀，然後融合兩個扭曲的圖像以避免在接縫線附近出現正面差異。通常，相鄰幀的重疊率，在實際應用中，我們根據移動速度選擇壹定時間間隔的幀進行拼接，可以降低計算復雜度。對於較早的拼接圖像，我們只選擇最後壹幀而不是整個拼接圖像來提取特征點，也是為了計算速度。
對於對齊的幀，采用改進的5幀差分法檢測運動目標。傳統的3幀差分法可以檢測出物體的基本輪廓，但輪廓總是不連續的，物體的重疊不易檢測。根據幀差分法的理論，通過多幀差分的信息融合可以用於提取更完整的運動對象。5幀差分法可以部分克服3幀差分法的不足。對於相鄰的 5 個幀 ，我們首先使用中值濾波器去除椒鹽噪聲，然後分別對中間幀和其他4幀進行差分運算。結果如下：
在對差分結果進行濾波後，我們引入Otsu動態閾值分割方法獲得二值圖像，然後使用“與”操作來抑制對象重疊問題。
然後我們在 和 上使用“或”操作以避免在對象輪廓中帶來孔洞。
二值圖像也可能有噪聲和小孔，這可能會導致錯誤的對象邊界框。最後，可以通過形態學腐蝕和膨脹來掩蓋運動物體區域，去除噪聲並填充孔洞，從而獲得物體的位置和尺度。
運動物體檢測步驟會檢測到多個物體區域，我們只選擇壹個感興趣的目標，使用基於相關濾波器的長期視覺跟蹤算法對所選物體進行跟蹤，以獲得目標的位置和尺度。實時對象。跟蹤器由檢測操作中檢測到的邊界框初始化。
基於相關濾波器的長期視覺跟蹤算法在核相關濾波器跟蹤器的框架下，集成了定向梯度直方圖、顏色命名和強度，創建了魯棒的對象外觀模型。在隨後的幀中，可以通過分別最大化平移濾波器和尺度濾波器的相關性分數來估計對象的新位置和尺度，並通過新的位置和尺度更新濾波器。同時，我們實時檢測跟蹤狀態，並在跟蹤失敗的情況下使用在線CUR過濾器重新檢測對象。該算法對於長期視覺跟蹤的復雜場景具有魯棒性。跟蹤流程圖如圖1所示。
實驗中的數據集選自DARPA提出的身份視頻驗證（VIVID）公***數據集中的航拍視頻數據。這些數據集包括紋理較少和紋理良好的視頻的背景。我們為我們的實驗選擇了兩個典型的視頻egtest01和egtest05。分辨率為640x480，幀率為30fps。實驗在MATLAB R2016a 中實現，在 Intel Core i5-7300HQ、2.5GHz CPU、8GB RAM 計算機上。
我們首先提取待配準的2幀中的Harris特征，利用描述符的歐氏距離進行粗匹配，然後使用 估計方法來去除異常值。最終匹配結果如圖2所示。
從圖2可以看出，無論是在紋理較少還是紋理良好的背景場景中，特征點都是均勻分布的，並且點主要集中在背景中，這有助於獲得準確的配準結果。
我們使用MDLT方法根據匹配的特征點獲得2幀的變換，然後對圖像進行扭曲，對參考圖像和扭曲圖像進行拼接和融合。最後，將幀依次拼接在壹起，得到如圖3所示的全景圖。
幀配準後，我們使用5幀差分法得到差分結果，然後去除細方噪聲，做形態學運算得到物體區域，最後可以得到運動物體的位置和尺度區域的邊界框，如圖4所示。
跟蹤算法可以在完全遮擋或視野外的情況下更新對象的比例並重新檢測丟失的對象。圖 5顯示了不同幀中的跟蹤結果。
我們已經開發了壹些基於小型無人機平臺的航空偵察關鍵圖像處理算法的實現。算法包括註冊視頻幀，使用幀差異進行運動物體檢測，將幀拼接成全景圖，跟蹤檢測到的物體之壹。實驗結果表明，所提出的方法在紋理較少的背景和紋理良好的背景場景中都可以很好地進行配準、拼接、檢測，以及在復雜場景中進行跟蹤。