分類
混淆矩陣1
True Positive(真正, TP):將正類預測為正類數.
True Negative(真負 , TN):將負類預測為負類數.
False Positive(假正, FP):將負類預測為正類數?→→?誤報?(Type I error).
False Negative(假負 , FN):將正類預測為負類數?→→?漏報?(Type II error).
精確率(precision)定義為:
P=TPTP+FP(1)(1)P=TPTP+FP
需要註意的是精確率(precision)和準確率(accuracy)是不壹樣的,
ACC=TP+TNTP+TN+FP+FNACC=TP+TNTP+TN+FP+FN
在正負樣本不平衡的情況下,準確率這個評價指標有很大的缺陷。比如在互聯網廣告裏面,點擊的數量是很少的,壹般只有千分之幾,如果用acc,即使全部預測成負類(不點擊)acc 也有 99% 以上,沒有意義。
召回率(recall,sensitivity,true positive rate)定義為:
R=TPTP+FN(2)(2)R=TPTP+FN
此外,還有?F1F1?值,是精確率和召回率的調和均值,
2F1F1=1P+1R=2TP2TP+FP+FN(3)2F1=1P+1R(3)F1=2TP2TP+FP+FN
精確率和準確率都高的情況下,F1F1?值也會高。
通俗版本
剛開始接觸這兩個概念的時候總搞混,時間壹長就記不清了。
實際上非常簡單,精確率是針對我們預測結果而言的,它表示的是預測為正的樣本中有多少是對的。那麽預測為正就有兩種可能了,壹種就是把正類預測為正類(TP),另壹種就是把負類預測為正類(FP)。
而召回率是針對我們原來的樣本而言的,它表示的是樣本中的正例有多少被預測正確了。那也有兩種可能,壹種是把原來的正類預測成正類(TP),另壹種就是把原來的正類預測為負類(FN)。
在信息檢索領域,精確率和召回率又被稱為查準率和查全率,
查準率查全率=檢索出的相關信息量檢索出的信息總量=檢索出的相關信息量系統中的相關信息總量查準率=檢索出的相關信息量檢索出的信息總量查全率=檢索出的相關信息量系統中的相關信息總量
ROC 曲線
我們先來看下維基百科的定義,
In signal detection theory, a receiver operating characteristic (ROC), or simply ROC curve, is a graphical plot which illustrates the performance of a binary classifier system?as its discrimination threshold is varied.
比如在邏輯回歸裏面,我們會設壹個閾值,大於這個值的為正類,小於這個值為負類。如果我們減小這個閥值,那麽更多的樣本會被識別為正類。這會提高正類的識別率,但同時也會使得更多的負類被錯誤識別為正類。為了形象化這壹變化,在此引入 ROC ,ROC 曲線可以用於評價壹個分類器好壞。
ROC 關註兩個指標,
true positive rate:false positive rate:TPR=TPTP+FNFPR=FPFP+TNtrue positive rate:TPR=TPTP+FNfalse positive rate:FPR=FPFP+TN
直觀上,TPR 代表能將正例分對的概率,FPR 代表將負例錯分為正例的概率。在 ROC 空間中,每個點的橫坐標是 FPR,縱坐標是 TPR,這也就描繪了分類器在 TP(真正率)和 FP(假正率)間的 trade-off2。
AUC
AUC(Area Under Curve)被定義為ROC曲線下的面積,顯然這個面積的數值不會大於1。
The AUC value is equivalent to the probability that a randomly chosen positive example is ranked higher than a randomly chosen negative example.
翻譯過來就是,隨機挑選壹個正樣本以及壹個負樣本,分類器判定正樣本的值高於負樣本的概率就是 AUC 值。
簡單說:AUC值越大的分類器,正確率越高3。
AUC=1AUC=1,完美分類器,采用這個預測模型時,不管設定什麽閾值都能得出完美預測。絕大多數預測的場合,不存在完美分類器。
0.5<AUC<10.5<AUC<1,優於隨機猜測。這個分類器(模型)妥善設定閾值的話,能有預測價值。
AUC=0.5AUC=0.5,跟隨機猜測壹樣(例:丟銅板),模型沒有預測價值。
AUC<0.5AUC<0.5,比隨機猜測還差;但只要總是反預測而行,就優於隨機猜測,因此不存在?AUC<0.5AUC<0.5?的情況。
既然已經這麽多評價標準,為什麽還要使用ROC和AUC呢?因為ROC曲線有個很好的特性:當測試集中的正負樣本的分布變化的時候,ROC曲線能夠保持不變。在實際的數據集中經常會出現類不平衡(class imbalance)現象,即負樣本比正樣本多很多(或者相反)
回歸4
平均絕對誤差
平均絕對誤差MAE(Mean Absolute Error)又被稱為?l1l1?範數損失(l1-norm loss):
MAE(y,y^)=1nsamples∑i=1nsamples|yi?y^i|MAE(y,y^)=1nsamples∑i=1nsamples|yi?y^i|
平均平方誤差
平均平方誤差 MSE(Mean Squared Error)又被稱為?l2l2?範數損失(l2-norm loss):
MSE(y,y^)=1nsamples∑i=1nsamples(yi?y^i)2MSE(y,y^)=1nsamples∑i=1nsamples(yi?y^i)2