多尺度圖像處理是計算機視覺中的重要工具，我們可以從不同的尺度空間中自動提取感興趣的檢測點。可以為每個檢測點獲得不變的局部描述符。這種多尺度特征算法在現代計算機視覺框架中非常重要。
多尺度的基本思想很簡單:通過對原始圖像進行適當的函數濾波來增加時間或尺度，從而創建圖像的縮放空間。例如，高斯尺度空間是通過在原始圖像上增加標準差的高斯核的卷積來實現的。對於較大的核值，我們得到壹個更簡單的圖像表示。利用圖像的多尺度表示，我們可以檢測和描述圖像在不同尺度空間和分辨率下的特征。壹些作者還證明了在壹些壹般假設下，高斯核及其偏導數集是尺度空間分析的光滑核。然而，應該註意，高斯尺度空間只是線性擴散的壹個例子，因為其他線性尺度空間也是可能的。
高斯核可能是表示圖像尺度空間最簡單的方法，但它不是唯壹的。然而，它也有壹些缺點。在高斯尺度空間，選擇粗尺度的好處是降低噪聲，突出結構。代價是失去局部精度。原因是高斯模糊沒有保留物體的自然邊界，噪聲和圖像細節在所有尺度上被同等平滑。高斯模糊越大，粗糙尺度空間中的局部區域檢測特征損失越大。
使模糊局部適應圖像數據似乎更合適，這樣噪聲將被模糊，但細節或邊緣仍將無效。為了實現這壹點，提出了不同的非線性尺度空間方法來改進高斯尺度空間方法。壹般來說，非線性擴散方法的性能要比線性擴散方法好得多，在圖像分割或去噪等不同的應用中都取得了令人印象深刻的結果。然而，據我們所知，這篇論文是第壹篇在多尺度特征檢測和描述的背景下使用非線性擴散濾波的有效方案的論文。利用非線性散射技術，通過非線性尺度空間檢測和描述不同尺度上的圖像區域，可以提高圖像的可重復性和清晰度。
非線性擴散濾波在諸如特征檢測和描述的實際計算機視覺組件中沒有廣泛使用的壹個原因可能是大多數方法效率低。這些方法通常包括用前向歐拉法對函數進行離散化。歐拉方法需要很小的步長才能收斂，因此需要多次叠代才能達到要求的規模，計算成本很高。韋克特等人偶然引入了非線性擴散濾波的有效方案。這些方案的背景之壹是加法算子分裂(aos)技術的使用。通過aos方法，可以得到任意步長的穩定的非線性尺度空間。aos格式的壹個關鍵問題是求解線性方程組的三對角方程組，它可以用高斯消去算法的壹個特殊變種——托馬斯算法來實現。
提出在非線性尺度空間中實現自動特征檢測和描述。介紹了如何利用有效的aos技術和可變電導散射構建非線性尺度空間，以及如何在不同的圖像變換下獲得高重復性和顯著性的特征。我們在標準評估框架中詳細評估了我們的新功能，以及使用變形表面的實際圖像匹配應用。
我們的專題命名為Kaze，向尺度空間分析之父飯島致敬。Kaze是壹個日語單詞，意思是風。在自然界中，風被定義為大尺度氣流，通常受非線性過程控制。在此基礎上，模擬了圖像域的非線性擴散過程。本文的其余部分安排如下:在第二部分，我們描述了相關的工作。第三部分簡要介紹了非線性擴散濾波的基本原理。第4節詳細描述了kaze特征算法。最後，詳細的實驗結果和結論分別在第5節和第6節給出。
特征檢測和描述是計算機視覺中壹個非常活躍的研究領域。在許多不同的應用中，獲得在不同的圖像變換(如視點、模糊、噪聲等)下表現出高重復性和唯壹性的特征是非常重要的。).最流行的多尺度特征檢測和描述算法是尺度不變特征變換(SIFT)和快速增強魯棒特征(SURF)。
Sift特征是特征檢測和圖像匹配的裏程碑，至今仍廣泛應用於移動機器人和目標識別。在SIFT中，高斯差分算子(DOG)結果的最大值和最小值通過高斯尺度空間獲得。為了建立尺度空間，計算高斯模糊金字塔的原始圖像。比例空間由不同的子和八度組成。對於壹組檢測到的特征，基於檢測到的關鍵點的局部感興趣區域上的主梯度方向來構造描述符。然後定義壹個通常由4×4個子區域(按主方向)組成的矩形網格，建立按其大小加權的梯度方向直方圖，得到128個元素的描述符向量。
受到SIFT的啟發，Bay等人提出了surf檢測和描述符。Surf特征在可重復性、顯著性和魯棒性方面表現出更好的結果，但同時由於使用了積分圖像，可以更快地計算，這意味著不同尺度的高斯導數可以用簡單的平方濾波器近似，而不需要計算整個高斯尺度空間。類似於SIFT，定義壹個由4×4個子區域(按主方向)組成的矩形網格，計算每個區域的HAAR小波響應之和(以感興趣的關鍵點為中心的高斯加權)。最終的描述符維數通常是64或128的擴展計數器。Agrawal和Konolige通過使用中央環繞檢測(CenSurE)和修改的surf(m-surf)描述符來改進surf。M-surf是原始surf描述符的變體，但它更好地處理了描述符邊界效應，並采用了更魯棒和智能的兩階段高斯加權方案。
這些方法和許多後續的相關算法都依賴於高斯尺度空間和高斯導數集作為尺度空間分析的光滑核。然而，高斯尺度空間再次不保留對象和平滑的自然邊界，並在所有尺度上平等地處理細節和噪聲。通過非線性擴散濾波，可以獲得比以往基於高斯尺度空間的算法具有更高重復性和顯著性的多尺度特征。與surf或CenSurE相比，計算成本略有增加，我們的結果表明，在特征檢測和描述方面，性能有了很大的提高。
非線性擴散方法將圖像亮度隨尺度增加的變化描述為控制擴散過程的某些流函數的散度。這些方法通常由非線性偏微分方程(PDES)描述，因為所涉及的微分方程的非線性性質將圖像的亮度擴展到非線性尺度空間。方程1給出了經典的非線性擴散公式:
其中和分別表示散度和梯度運算。
由於傳遞函數的引入，使得擴散自適應圖像局部結構成為可能。函數依賴於圖像的局部微分結構，函數可以同時表示標量和張量。時間是壹個尺度參數，值越大，圖像越簡單。在本文中，我們將重點研究可變傳導擴散，即利用圖像的梯度幅度來控制每個尺度水平上的擴散。
在計算機視覺領域，首先提到非線性擴散濾波是由佩羅娜和馬利克提出的，它使函數與梯度幅度相關。為了減少局部邊緣的計算損失，使用更平滑的區域代替邊界。這樣，函數可以定義為:
其中表示原始圖像的高斯平滑版本的梯度。佩羅娜和馬利克描述了傳遞函數的兩個不同方程:
其中該參數是控制擴散水平的對比度因子。功能有利於高對比度邊界和大面積而不是小面積。對於擴散率快速下降的區域，Weickert提出了壹個略有不同的擴散函數:邊緣兩側平滑比邊緣平滑效果好。與區域間模糊相比，選擇性平滑更傾向於區域內平滑。該函數的調用和定義如下:
對比度參數可以根據圖像梯度的壹些估計值手動或自動選擇。對比度參數確定是應該增強還是取消漸變。在本文中，我們使用經驗值，它被設置為原始圖像的平滑版本的梯度值的直方圖的70%。在我們的實驗中，這個經驗值通常能達到很好的效果。但是，對於某些圖像，更詳細地分析對比度參數可能會得到更好的結果。圖1描述了佩羅娜和馬利克方程中不同參數值的傳導函數。通常，對於較高的值，只考慮較大的梯度。
非線性擴散濾波中的偏微分方程沒有解析解。因此，有必要用數值方法來逼近微分方程。擴散方程的壹種可能的離散化方法是所謂的線性插值或半隱式格式。在向量矩陣表示中，方程1的離散化可以表示為:
其中，是對各維度的鏡像傳導進行編碼的矩陣。在半隱式格式中，為了計算解，需要解壹個線性方程組。的解可以通過以下方式獲得:
半隱式格式對於任何步長都是絕對穩定的。此外，它還為任何大的時間步長創建了壹個離散的非線性擴散尺度空間。在半隱式格式中，需要求解線性方程組，其中系統矩陣是三對角的且對角占優。Thomas算法是著名的三對角方程組高斯消元算法的變體，可以非常有效地求解這類方程組。
在這壹部分中，我們將介紹非線性尺度空間中特征檢測和描述的新方法。給定壹個輸入圖像，我們使用AOS技術和可變傳導擴散建立壹個非線性尺度空間，直到最大進化時間。然後，我們通過非線性尺度空間檢測感興趣的二維特征，這些特征顯示了Hessian響應的尺度歸壹化行列式的最大值。最後，計算關鍵點的主方向，得到考慮圖像壹階導數的尺度和旋轉不變描述子。現在，我們將描述公式中的每個主要步驟。
我們用壹種類似SIFT的方法，用對數步長離散尺度空間，排列成壹系列的層次和圖層。請註意，我們總是使用原始圖像的分辨率，並且我們不像在SIFT中那樣在每個新級別上執行任何下采樣。級別和層由離散的上標和上標來確定。級別和圖層通過以下公式映射到其相應的比例:
其中是基本比例級別和已過濾圖像的總數。現在，我們需要將像素單位的離散比例級別集轉換為時間單位。這種轉換的原因是非線性擴散濾波是由時間項定義的。在高斯尺度空間的情況下，圖像與高斯標準差(以像素為單位)的卷積相當於對圖像進行壹段時間的濾波。我們應用這種變換來獲得壹組演化時間，並通過以下映射將尺度空間變換成時間單位:
這裏必須提到的是，我們使用映射只是為了獲得壹組演化時間，從中我們構建了壹個非線性的尺度空間。壹般來說，在每個濾波圖像的非線性尺度空間中，結果圖像不對應於原始圖像和標準偏差的高斯的卷積。但是我們的框架也兼容高斯尺度空間，因為我們可以通過設置擴散函數等於1(即常數函數)得到高斯尺度空間的方程。另外，只要我們在非線性尺度空間中演化，除了與物體邊界相對應的強圖像邊緣，大部分圖像像素的傳導函數都趨於常數。
給定壹幅輸入圖像，我們首先用具有標準偏差的高斯核對圖像進行卷積，以減少噪聲和可能的圖像偽影。根據基礎圖像，我們根據3.1節描述的自動程序計算圖像的梯度直方圖，獲得對比度參數。然後，給定對比度參數和壹組演化時間，直觀地使用AOS方案(對於任何步長都是絕對穩定的)叠代地構造非線性尺度空間:
圖2描繪了在給定相同參考圖像的幾個演化時間中高斯尺度空間和非線性尺度空間(使用傳導函數)之間的比較。可以觀察到，高斯模糊平滑了圖像中的所有結構，而在非線性尺度空間中，強圖像的邊緣保持不變。
為了檢測感興趣的點，我們在多個尺度水平上計算Hessian的尺度歸壹化行列式的響應。對於多尺度特征檢測，有必要對該尺度的微分算子子集進行歸壹化，因為通常空間導數的幅度隨著尺度的減小而減小:
其中，它們分別是二階水平導數和垂直導數，它們是二階交叉導數。給定壹組非線性尺度空間中的濾波圖像，我們分析檢測器在不同尺度水平上的響應。我們尋找尺度和空間位置的最大值。在除sum之外的所有過濾圖像中執行極值搜索。在當前、上層和下層大小的矩形窗口上搜索每個濾波圖像的極值。為了加快搜索極值的速度，我們首先檢查3×3像素窗口上的響應，以便快速丟棄非最大響應。最後，使用亞像素精度來估計關鍵點的位置。
壹階和二階導數集由具有不同導數步長的Scharr濾波器近似。二階導數通過在期望的導數坐標中使用連續的Scharr濾波器來近似。這些濾波器比其他流行的濾波器(如Sobel濾波器或標準中心差分濾波器)更接近旋轉不變性。請註意，雖然我們需要計算每個像素的多尺度導數，但我們節省了描述步驟中的計算工作量，因為我們重用了檢測步驟中計算的同壹組導數。
找準主攻方向。為了獲得旋轉不變描述符，需要估計以關鍵點位置為中心的局部鄰域中的主導方向。類似於SURF，我們在半徑為的圓形區域內尋找主方向，采樣步長為。對於圓形區域中的每個樣本，壹階導數和使用以感興趣的點為中心的高斯加權。然後，將導數響應表示為向量空間中的壹個點，通過對覆蓋該角度的滑動圓段中的響應求和來確定主方向。主方向是從最長的向量獲得的。
構建描述符。我們使用的M-SURF描述符適用於我們的非線性尺度空間框架。對於具有尺寸的檢測特征，在矩形網格上計算具有尺寸的壹階導數和。網格被分成子區域，大小為，重疊部分為。每個子區域中的導數響應以子區域的中心為中心，由高斯()加權，並求和為描述符向量。然後用高斯()對每個子區域向量進行加權，子區域向量定義在掩膜上，以感興趣的關鍵點為中心。當考慮關鍵點的主方向時，矩形網格中的每個樣本將按照主方向旋轉。另外，導數是根據主方向計算的。最後，長度為64的描述符向量被歸壹化為單位向量，以實現對比度不變性。