兩種方法都是常見的分類算法,從目標函數來看,區別在於邏輯回歸采用的是logistical loss,svm采用的是hinge loss.這兩個損失函數的目的都是增加對分類影響較大的數據點的權重,減少與分類關系較小的數據點的權重.SVM的處理方法是只考慮support vectors,也就是和分類最相關的少數點,去學習分類器.而邏輯回歸通過非線性映射,大大減小了離分類平面較遠的點的權重,相對提升了與分類最相關的數據點的權重.兩者的根本目的都是壹樣的.此外,根據需要,兩個方法都可以增加不同的正則化項,如l1,l2等等.所以在很多實驗中,兩種算法的結果是很接近的.
但是邏輯回歸相對來說模型更簡單,好理解,實現起來,特別是大規模線性分類時比較方便.而SVM的理解和優化相對來說復雜壹些.但是SVM的理論基礎更加牢固,有壹套結構化風險最小化的理論基礎,雖然壹般使用的人不太會去關註.還有很重要的壹點,SVM轉化為對偶問題後,分類只需要計算與少數幾個支持向量的距離,這個在進行復雜核函數計算時優勢很明顯,能夠大大簡化模型和計算
svm 更多的屬於非參數模型,而logistic regression 是參數模型,本質不同.其區別就可以參考參數模型和非參模型的區別就好了.
logic 能做的 svm能做,但可能在準確率上有問題,svm能做的logic有的做不了
上一篇:漢王紛爭，手遊，江東霸，孫策的教訓下一篇:通達信莊影指標