壹、定義
感受野被定義為卷積神經網絡特征所能看到輸入圖像的區域,換句話說特征輸出受感受野區域內的像素點的影響。
比如下圖(該圖為了方便,將二維簡化為壹維),這個三層的神經卷積神經網絡,每壹層卷積核的?_ = 3?,? = 1,那麽最上層特征所對應的感受野就為如圖所示的7x7。
二、計算方式
第1層感受野[1]
第二層特征,感受野為5
第2層感受野[1]
第三層特征,感受野為7
第3層感受野[1]
如果有dilated conv的話,計算公式為
三、更上壹層樓
上文所述的是理論感受野,而特征的有效感受野(實際起作用的感受野)實際上是遠小於理論感受野的,如下圖所示。具體數學分析比較復雜,不再贅述,感興趣的話可以參考論文[2]。
有效感受野示例[2]
兩層3x3 conv計算流程圖
四、應用
分類
Xudong Cao寫過壹篇叫《A practical theory for designing very deep convolutional neural networks》的technical report,裏面講設計基於深度卷積神經網絡的圖像分類器時,為了保證得到不錯的效果,需要滿足兩個條件:
Firstly, for each convolutional layer, its capacity of learning more complex patterns should be guaranteed; Secondly, the receptive field of the top most layer should be no larger than the image region .
其中第二個條件就是對卷積神經網絡最高層網絡特征感受野大小的限制。
目標檢測
現在流行的目標檢測網絡大部分都是基於anchor的,比如SSD系列,v2以後的yolo,還有faster rcnn系列。
基於anchor的目標檢測網絡會預設壹組大小不同的anchor,比如32x32、64x64、128x128、256x256,這麽多anchor,我們應該放置在哪幾層比較合適呢?這個時候感受野的大小是壹個重要的考慮因素。
放置anchor層的特征感受野應該跟anchor大小相匹配,感受野比anchor大太多不好,小太多也不好。如果感受野比anchor小很多,就好比只給妳壹只腳,讓妳說出這是什麽鳥壹樣。如果感受野比anchor大很多,則好比給妳壹張世界地圖,讓妳指出故宮在哪兒壹樣。
《S3FD: Single Shot Scale-invariant Face Detector》這篇人臉檢測器論文就是依據感受野來設計anchor的大小的壹個例子,文中的原話是
we design anchor scales based on the effective receptive field
《FaceBoxes: A CPU Real-time Face Detector with High Accuracy》這篇論文在設計多尺度anchor的時候,依據同樣是感受野,文章的壹個貢獻為
We introduce the Multiple Scale Convolutional Layers
(MSCL) to handle various scales of face via enriching
receptive fields and discretizing anchors over layers
引用:
[1] convolutional nerual networks
[2]Understanding the Effective Receptive Field in Deep Convolutional Neural Networks
推薦閱讀:
關註SIGAICN公眾號,回復文章獲取碼,即可獲得全文鏈接
[1] 機器學習-波瀾壯闊40年 獲取碼SIGAI0413.
[2] 學好機器學習需要哪些數學知識?獲取碼SIGAI0417.
[3] 人臉識別算法演化史 獲取碼SIGAI0420.
[4] 基於深度學習的目標檢測算法綜述 獲取碼SIGAI0424.
[5] 卷積神經網絡為什麽能夠稱霸計算機視覺領域?獲取碼SIGAI0426.
[6] 用壹張圖理解SVM的脈絡 獲取碼SIGAI0428.
[7] 人臉檢測算法綜述 獲取碼SIGAI0503.
[8] 理解神經網絡的激活函數 獲取碼SIGAI0505.
[9] 深度卷積神經網絡演化歷史及結構改進脈絡-40頁長文全面解讀 獲取碼SIGAI0508.
[10] 理解梯度下降法 獲取碼SIGAI0511.
[11] 循環神經網絡綜述—語音識別與自然語言處理的利器 獲取碼SIGAI0515.
[12] 理解凸優化 獲取碼SIGAI0518.
[13] 實驗理解SVM的核函數和參數 獲取碼SIGAI0522.
[14] SIGAI綜述行人檢測算法 獲取碼SIGAI0525.
[15] 機器學習在自動駕駛中的應用—以百度阿波羅平臺為例(上)獲取碼SIGAI0529.
[16] 理解牛頓法 SIGAI 2018.5.31
[17] 群話題精華5月集錦—機器學習和深度學習中壹些值得思考的問題 獲取碼SIGAI0601.
[18] 大話Adaboost算法 獲取碼SIGAI0602.
[19] FlowNet到FlowNet2.0:基於卷積神經網絡的光流預測算法 獲取碼SIGAI0604.
[20] 理解主成分分析(PCA)獲取碼SIGAI0606.
[21] 人體骨骼關鍵點檢測綜述 獲取碼SIGAI0608.
[22] 理解決策樹 獲取碼SIGAI0611.
[23] 用壹句話總結常用的機器學習算法 獲取碼SIGAI0613.
[24] 目標檢測算法之YOLO 獲取碼SIGAI0615.
[25] 理解過擬合 獲取碼SIGAI0618.
[26] 理解計算:從√2到AlphaGo ——第1季 從√2談起 獲取碼SIGAI0620.
[27] 場景文本檢測——CTPN算法介紹 獲取碼SIGAI0622.
[28] 卷積神經網絡的壓縮和加速 獲取碼SIGAI0625.
[29] k近鄰算法 獲取碼SIGAI0627.
[30] 自然場景文本檢測識別技術綜述 獲取碼SIGAI0629.
[31] 理解計算:從√2到AlphaGo ——第2季 神經計算的歷史背景 獲取碼SIGAI0702.
[32] 機器學習算法地圖 獲取碼SIGAI0704.
[33] 反向傳播算法推導-全連接神經網絡 獲取碼SIGAI0706.
[34] 生成式對抗網絡模型綜述 獲取碼SIGAI0709.
[35] 怎樣成為壹名優秀的算法工程師 獲取碼SIGAI0711.
[36] 理解計算: 從√2到AlphaGo ——第3季 神經網絡的數學模型 獲取碼SIGAI0702.
[37] 人臉檢測算法之S3FD 獲取碼SIGAI6
[38]基於深度負相關學習的人群計數方法 獲取碼SIGAI0718
[39] 流形學習概述 獲取碼SIGAI0723
鏈接:/p/7cfa6bb6d621
來源: