介紹了較為常見的k-means、層次聚類、SOM、FCM等四種聚類算法，闡述了各自的原理和使用步驟，利用國際通用測試數據集IRIS對這些算法進行了驗證和比較。結果顯示對該測試類型數據，FCM和k-means都具有較高的準確度，層次聚類準確度最差，而SOM則耗時最長。
關鍵詞:聚類算法；k-means；層次聚類；SOM；FCM
聚類分析是壹種重要的人類行為，早在孩提時代，壹個人就通過不斷改進下意識中的聚類模式來學會如何區分貓狗、動物植物。目前在許多領域都得到了廣泛的研究和成功的應用，如用於模式識別、數據分析、圖像處理、市場研究、客戶分割、Web文檔分類等[1]。
聚類就是按照某個特定標準(如距離準則)把壹個數據集分割成不同的類或簇，使得同壹個簇內的數據對象的相似性盡可能大，同時不在同壹個簇中的數據對象的差異性也盡可能地大。即聚類後同壹類的數據盡可能聚集到壹起，不同數據盡量分離。
聚類技術[2]正在蓬勃發展，對此有貢獻的研究領域包括數據挖掘、統計學、機器學習、空間數據庫技術、生物學以及市場營銷等。各種聚類方法也被不斷提出和改進，而不同的方法適合於不同類型的數據，因此對各種聚類方法、聚類效果的比較成為值得研究的課題。
1 聚類算法的分類
目前，有大量的聚類算法[3]。而對於具體應用，聚類算法的選擇取決於數據的類型、聚類的目的。如果聚類分析被用作描述或探查的工具，可以對同樣的數據嘗試多種算法，以發現數據可能揭示的結果。
主要的聚類算法可以劃分為如下幾類：劃分方法、層次方法、基於密度的方法、基於網格的方法以及基於模型的方法[4-6]。
每壹類中都存在著得到廣泛應用的算法，例如：劃分方法中的k-means[7]聚類算法、層次方法中的凝聚型層次聚類算法[8]、基於模型方法中的神經網絡[9]聚類算法等。
目前,聚類問題的研究不僅僅局限於上述的硬聚類，即每壹個數據只能被歸為壹類，模糊聚類[10]也是聚類分析中研究較為廣泛的壹個分支。模糊聚類通過隸屬函數來確定每個數據隸屬於各個簇的程度，而不是將壹個數據對象硬性地歸類到某壹簇中。目前已有很多關於模糊聚類的算法被提出，如著名的FCM算法等。
本文主要對k-means聚類算法、凝聚型層次聚類算法、神經網絡聚類算法之SOM,以及模糊聚類的FCM算法通過通用測試數據集進行聚類效果的比較和分析。
2 四種常用聚類算法研究
2.1 k-means聚類算法
k-means是劃分方法中較經典的聚類算法之壹。由於該算法的效率高，所以在對大規模數據進行聚類時被廣泛應用。目前，許多算法均圍繞著該算法進行擴展和改進。
k-means算法以k為參數，把n個對象分成k個簇，使簇內具有較高的相似度，而簇間的相似度較低。k-means算法的處理過程如下：首先，隨機地選擇k個對象，每個對象初始地代表了壹個簇的平均值或中心;對剩余的每個對象，根據其與各簇中心的距離，將它賦給最近的簇;然後重新計算每個簇的平均值。這個過程不斷重復，直到準則函數收斂。通常，采用平方誤差準則，其定義如下：
這裏E是數據庫中所有對象的平方誤差的總和，p是空間中的點，mi是簇Ci的平均值[9]。該目標函數使生成的簇盡可能緊湊獨立，使用的距離度量是歐幾裏得距離,當然也可以用其他距離度量。k-means聚類算法的算法流程如下：
輸入：包含n個對象的數據庫和簇的數目k；
輸出：k個簇，使平方誤差準則最小。
步驟：
(1) 任意選擇k個對象作為初始的簇中心；
(2) repeat；
(3) 根據簇中對象的平均值，將每個對象(重新)賦予最類似的簇；
(4) 更新簇的平均值，即計算每個簇中對象的平均值；
(5) until不再發生變化。
2.2 層次聚類算法
根據層次分解的順序是自底向上的還是自上向下的，層次聚類算法分為凝聚的層次聚類算法和分裂的層次聚類算法。
凝聚型層次聚類的策略是先將每個對象作為壹個簇，然後合並這些原子簇為越來越大的簇，直到所有對象都在壹個簇中，或者某個終結條件被滿足。絕大多數層次聚類屬於凝聚型層次聚類，它們只是在簇間相似度的定義上有所不同。四種廣泛采用的簇間距離度量方法如下：
這裏給出采用最小距離的凝聚層次聚類算法流程：
(1) 將每個對象看作壹類，計算兩兩之間的最小距離；
(2) 將距離最小的兩個類合並成壹個新類；
(3) 重新計算新類與所有類之間的距離；
(4) 重復(2)、(3)，直到所有類最後合並成壹類。
2.3 SOM聚類算法
SOM神經網絡[11]是由芬蘭神經網絡專家Kohonen教授提出的，該算法假設在輸入對象中存在壹些拓撲結構或順序，可以實現從輸入空間(n維)到輸出平面(2維)的降維映射，其映射具有拓撲特征保持性質,與實際的大腦處理有很強的理論聯系。
SOM網絡包含輸入層和輸出層。輸入層對應壹個高維的輸入向量，輸出層由壹系列組織在2維網格上的有序節點構成，輸入節點與輸出節點通過權重向量連接。學習過程中，找到與之距離最短的輸出層單元，即獲勝單元，對其更新。同時，將鄰近區域的權值更新，使輸出節點保持輸入向量的拓撲特征。
算法流程：
(1) 網絡初始化，對輸出層每個節點權重賦初值；
(2) 將輸入樣本中隨機選取輸入向量，找到與輸入向量距離最小的權重向量；
(3) 定義獲勝單元，在獲勝單元的鄰近區域調整權重使其向輸入向量靠攏；
(4) 提供新樣本、進行訓練；
(5) 收縮鄰域半徑、減小學習率、重復，直到小於允許值，輸出聚類結果。
2.4 FCM聚類算法
1965年美國加州大學柏克萊分校的紮德教授第壹次提出了‘集合’的概念。經過十多年的發展，模糊集合理論漸漸被應用到各個實際應用方面。為克服非此即彼的分類缺點，出現了以模糊集合論為數學基礎的聚類分析。用模糊數學的方法進行聚類分析，就是模糊聚類分析[12]。
FCM算法是壹種以隸屬度來確定每個數據點屬於某個聚類程度的算法。該聚類算法是傳統硬聚類算法的壹種改進。
算法流程：
(1) 標準化數據矩陣；
(2) 建立模糊相似矩陣，初始化隸屬矩陣；
(3) 算法開始叠代，直到目標函數收斂到極小值；
(4) 根據叠代結果，由最後的隸屬矩陣確定數據所屬的類，顯示最後的聚類結果。
3 四種聚類算法試驗
3.1 試驗數據
實驗中，選取專門用於測試分類、聚類算法的國際通用的UCI數據庫中的IRIS[13]數據集，IRIS數據集包含150個樣本數據，分別取自三種不同的鶯尾屬植物setosa、versicolor和virginica的花朵樣本,每個數據含有4個屬性，即萼片長度、萼片寬度、花瓣長度，單位為cm。在數據集上執行不同的聚類算法，可以得到不同精度的聚類結果。
3.2 試驗結果說明
文中基於前面所述各算法原理及算法流程，用matlab進行編程運算，得到表1所示聚類結果。
如表1所示，對於四種聚類算法，按三方面進行比較：(1)聚錯樣本數：總的聚錯的樣本數，即各類中聚錯的樣本數的和；(2)運行時間：即聚類整個過程所耗費的時間，單位為s；(3)平均準確度：設原數據集有k個類,用ci表示第i類，ni為ci中樣本的個數，mi為聚類正確的個數,則mi/ni為第i類中的精度，則平均精度為：
3.3 試驗結果分析
四種聚類算法中，在運行時間及準確度方面綜合考慮，k-means和FCM相對優於其他。但是，各個算法還是存在固定缺點：k-means聚類算法的初始點選擇不穩定，是隨機選取的，這就引起聚類結果的不穩定，本實驗中雖是經過多次實驗取的平均值，但是具體初始點的選擇方法還需進壹步研究；層次聚類雖然不需要確定分類數，但是壹旦壹個分裂或者合並被執行，就不能修正，聚類質量受限制；FCM對初始聚類中心敏感，需要人為確定聚類數，容易陷入局部最優解；SOM與實際大腦處理有很強的理論聯系。但是處理時間較長，需要進壹步研究使其適應大型數據庫。
聚類分析因其在許多領域的成功應用而展現出誘人的應用前景，除經典聚類算法外，各種新的聚類方法正被不斷被提出。