深度學習的概念源於人工神經網絡的研究。含多隱層的多層感知器就是壹種深度學習結構。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征,以發現數據的分布式特征表示。
深度學習的概念由Hinton等人於2006年提出。基於深信度網(DBN)提出非監督貪心逐層訓練算法,為解決深層結構相關的優化難題帶來希望,隨後提出多層自動編碼器深層結構。此外Lecun等人提出的卷積神經網絡是第壹個真正多層結構學習算法,它利用空間相對關系減少參數數目以提高訓練性能。