當前位置:編程學習大全網 - 腳本源碼 - 常見決策樹分類算法都有哪些?

常見決策樹分類算法都有哪些?

在機器學習中,有壹個體系叫做決策樹,決策樹能夠解決很多問題。在決策樹中,也有很多需要我們去學習的算法,要知道,在決策樹中,每壹個算法都是實用的算法,所以了解決策樹中的算法對我們是有很大的幫助的。在這篇文章中我們就給大家介紹壹下關於決策樹分類的算法,希望能夠幫助大家更好地去理解決策樹。

1.C4.5算法

C4.5算法就是基於ID3算法的改進,這種算法主要包括的內容就是使用信息增益率替換了信息增益下降度作為屬性選擇的標準;在決策樹構造的同時進行剪枝操作;避免了樹的過度擬合情況;可以對不完整屬性和連續型數據進行處理;使用k交叉驗證降低了計算復雜度;針對數據構成形式,提升了算法的普適性等內容,這種算法是壹個十分使用的算法。

2.CLS算法

CLS算法就是最原始的決策樹分類算法,基本流程是,從壹棵空數出發,不斷的從決策表選取屬性加入數的生長過程中,直到決策樹可以滿足分類要求為止。CLS算法存在的主要問題是在新增屬性選取時有很大的隨機性。

3.ID3算法

ID3算法就是對CLS算法的最大改進是摒棄了屬性選擇的隨機性,利用信息熵的下降速度作為屬性選擇的度量。ID3是壹種基於信息熵的決策樹分類學習算法,以信息增益和信息熵,作為對象分類的衡量標準。ID3算法結構簡單、學習能力強、分類速度快適合大規模數據分類。但同時由於信息增益的不穩定性,容易傾向於眾數屬性導致過度擬合,算法抗幹擾能力差。

3.1.ID3算法的優缺點

ID3算法的優點就是方法簡單、計算量小、理論清晰、學習能力較強、比較適用於處理規模較大的學習問題。缺點就是傾向於選擇那些屬性取值比較多的屬性,在實際的應用中往往取值比較多的屬性對分類沒有太大價值、不能對連續屬性進行處理、對噪聲數據比較敏感、需計算每壹個屬性的信息增益值、計算代價較高。

3.2.ID3算法的核心思想

根據樣本子集屬性取值的信息增益值的大小來選擇決策屬性,並根據該屬性的不同取值生成決策樹的分支,再對子集進行遞歸調用該方法,當所有子集的數據都只包含於同壹個類別時結束。最後,根據生成的決策樹模型,對新的、未知類別的數據對象進行分類。

在這篇文章中我們給大家介紹了決策樹分類算法的具體內容,包括有很多種算法。從中我們不難發現決策樹的算法都是經過不不斷的改造趨於成熟的。所以說,機器學習的發展在某種程度上就是由於這些算法的進步而來的。

  • 上一篇:泰國電影《荷爾蒙》中的開頭沒多久兩個男主角
  • 下一篇:推薦幾部超恐怖的鬼片
  • copyright 2024編程學習大全網