k 近鄰法?(k-nearest neighbor, k-NN） 是壹種基本分類與回歸方法。是數據挖掘技術中原理最簡單的算法之壹，核心功能是解決有監督的分類問題。KNN能夠快速高效地解決建立在特殊數據集上的預測分類問題，但其不產生模型，因此算法準確 性並不具備強可推廣性。
k近鄰法?的輸入為實例的特征向量，對應與特征空間的點；輸出為實例的類別，可以取多類。
k近鄰法?三個基本要素：k?值的選擇、距離度量及分類決策規則。
算法過程：
1, 計算訓練樣本和測試樣本中每個樣本點的距離（常見的距離度量有歐式距離，馬氏距離等）；
2, 對上面所有的距離值進行排序；
3, 選前k個最小距離的樣本；
4, 根據這k個樣本的標簽進行投票，得到最後的分類類別；
輸入：訓練數據集T = \{(x_1,\,y_1),(x_1,\,y_1),\cdots,(x_N,\,y_N)\} \\。
其中，x_i?為實例的特征向量，?y_i?為實例的類別，i=1,2,\cdots,N。
輸出：實例x?所屬的類?y。
（1）根據給定的距離度量，在訓練集?T?中找出與?x?最近鄰的個點，涵蓋這個?k?點的?x?的鄰域記作N_k(x）。
（2）在N_k(x）?中根據分類決策規則（如多數決策）決定?x?的類別?y。
y = \mathop {arg\,max}_{c_j}\sum_{x_i\in。 N_k(x)=1}I(y_i=c_j),\\i=1,2,\cdots,N;\,\,j=1,2,\cdots,K \\。
其中，I?為指示函數，即?y_i = c_j?時?I?為 1，否則?I?為 0。