當前位置:編程學習大全網 - 編程語言 - AI面試第四彈(CV常問loss之focal loss)

AI面試第四彈(CV常問loss之focal loss)

focal loss,這個損失函數是在標準交叉熵損失基礎上修改得到的。這個函數可以通過減少易分類樣本的權重,使得模型在訓練時更專註於難分類的樣本。

希望one-stage detector可以達到two-stage detector的準確率,同時不影響原有的速度

在object detection領域,壹張圖像可能生成成千上萬的candidate locations,但是其中只有很少壹部分是包含object的,這就帶來了類別不均衡。

負樣本數量太大,占總的loss的大部分,而且多是容易分類的,因此使得模型的優化方向並不是我們所希望的那樣。

通過減少易分類樣本的權重,從而使得模型在訓練時更專註於難分類的樣本

CE在某種程度上不能處理正/負例子的重要性,這裏引入了壹個權重因子“α”,其範圍為[0,1],正類為α,負類為“1 -α”,這兩個定義合並在壹個名為“α”的名稱下,可以定義為

這個損失函數稍微解決了類不平衡的問題,但是仍然無法區分簡單和困難的例子。為了解決這個問題,我們定義了焦損失。

(1-pt)^γ為調變因子,這裏γ≥0,稱為聚焦參數。

1、當樣本分類錯誤時,pt趨於0,調變因子趨於1,使得損失函數幾乎不受影響。另壹方面,如果示例被正確分類,pt將趨於1,調變因子將趨向於0,使得損耗非常接近於0,從而降低了該特定示例的權重。

2、聚焦參數(γ)平滑地調整易於分類的示例向下加權的速率。

當γ=2時,與概率為0.9的示例相比,概率為0.9的示例的損失比CE和0.968低100倍,損失將降低1000倍。

下面的描述了不同γ值下的FL。當γ=0時,FL等於CE損耗。這裏我們可以看到,對於γ=0(CE損失),即使是容易分類的例子也會產生非平凡的損失震級。這些求和的損失可以壓倒稀有類(很難分類的類)。

  • 上一篇:編程語言種中常常提到“宏”,它是什麽意思?高手指點下
  • 下一篇:電子商務專業可以做什麽工作?
  • copyright 2024編程學習大全網