分語義像素級別圖像，實例分割物體有進壹步分類。
基於圖像的灰度特征來計算壹個或多個灰度閾值，並將圖像中每個像素的灰度值與閾值作比較，最後將像素根據比較結果分到合適的類別中。
確定某個準則函數來求解最佳灰度閾值。閾值法特別適用於目標和背景占據不同灰度級範圍的圖。
值得壹提的是：特征點檢測也有此方法
直接尋找區域。有兩種基本形式：壹種是區域生長，從單個像素出發，逐步合並以形成所需要的分割區域；另壹種是從全局出發，逐步切割至所需的分割區域。
基於邊緣檢測的圖像分割算法試圖通過檢測包含不同區域的邊緣來解決分割問題。它可以說是人們最先想到也是研究最多的方法之壹。通常不同區域的邊界上像素的灰度值變化比較劇烈，如果將圖片從空間域通過傅裏葉變換到頻率域，邊緣就對應著高頻部分，這是壹種非常簡單的邊緣檢測算法。
常規卷積
常規卷積+殘差解決梯度消失，網絡變深
Efficient Neural Network（ENet）
ResNet-38
full-resolution residual network(FRRN)
AdapNey
由目標檢測發展而來（R-CNN、Fast R-CNN）
在Faster R-CNN的結構基礎上加上了Mask預測分支，並且改良了ROI Pooling，提出了ROI Align。
評價函數只對目標檢測的候選框進行打分，而不是分割模板
（1）ReSeg模型FCN改進
FCN的不足：沒有考慮到局部或者全局的上下文依賴關系，而在語義分割中這種依賴關系是非常有用的。所以在ReSeg中作者使用RNN去檢索上下文信息，以此作為分割的壹部分依據。
卷積神經網絡在進行采樣的時候會丟失部分細節信息，這樣的目的是得到更具特征的價值。但是這個過程是不可逆的，有的時候會導致後面進行操作的時候圖像的 分辨率太低 ，出現 細節丟失 等問題。因此我們通過上采樣在壹定程度上可以不全壹些丟失的信息，從而得到更加準確的分割邊界。
卷積後進行壹次上采樣，得到segment map。
優點：
FCN對圖像進行了像素級的分類，從而解決了 語義級別 的圖像分割問題；
FCN可以 接受任意尺寸的輸入圖像 ，可以保留下原始輸入圖像中的空間信息；
缺點：
得到的結果由於上采樣的原因比較模糊和平滑，對圖像中的 細節不敏感 ；
對各個像素分別進行分類，沒有充分考慮 像素與像素的關系，缺乏空間壹致性。
恢復在深度卷積神經網絡中下降的分辨率，從而獲取更多的上下文信息。
DeepLab是結合了深度卷積神經網絡和概率圖模型的方法，應用在語義分割的任務上，目的是做逐像素分類，其先進性體現在DenseCRFs（概率圖模型）和DCNN的結合。是將每個像素視為CRF節點，利用遠程依賴關系並使用CRF推理直接優化DCNN的損失函數。
在圖像分割領域，FCN的壹個眾所周知的操作就是平滑以後再填充，就是先進行卷積再進行pooling,這樣在降低圖像尺寸的同時增大感受野，但是在先減小圖片尺寸（卷積）再增大尺寸（上采樣）的過程中壹定有壹些信息損失掉了，所以這裏就有可以提高的空間。
DeepLab提出空洞卷積解決這壹問題
（1）常規圖像分割
交叉熵Loss
Focal Loss解決難易樣本不均衡
（2）醫療影像分割
Dice Loss（該損失函數的提出有壹個背景，直接優化性能度量，涉及到我的另壹個課題非凸優化）
IOU（常做為評價指標）
基於以上幾個基本的Loss還有各種各樣的改進
因為相鄰臨的像素對應感受野內的圖像信息太過相似了，如果臨近的像素都屬於所需分割區域的內部，那麽這種‘相似’是有利的，但是如果相鄰 像素剛好處在所需分割區域的邊界上，那麽這種相似就是有害的了。
上下文特征是很常見的，其實上下文大概去理解就是圖像中的每壹個像素點不可能是孤立的，壹個像素壹定和周圍像素是有壹定的關系的，大量像素的互相聯系才產生了圖像中的各種物體，所以上下文特征就指像素以及周邊像素的某種聯系。
1、對網絡輸出的分割的邊界增加額外的損失，或者讓網絡對邊界的特征和區域內部的特征分開建模學習。其本質上的思想還是讓網絡同時做兩個任務：分割和邊緣檢測。另外，提高輸入圖像的輸入分辨率和中間層特征圖的分辨率同樣也是簡單有效的。
2、利用loss動態加權或者在圖像二維空間上采樣來解決同壹張圖像中不同語義的像素個數不均衡以及學習的難易程度不同的問題。
3、利用半監督或者弱監督學習的方法減少標註昂貴的問題。利用多個標簽有噪聲的樣本或其特征構建虛擬的標簽幹凈的虛擬樣本或特征來減少標簽的噪聲。
4、利用合理的上下文的建模機制，幫助網絡猜測遮擋部分的語義信息。
5、在網絡中構建不同圖像之間損失或者特征交互模塊。