如何能把之前任務的經驗用上，使得更快更好的學習當前任務；
學習當前任務時，不會忘記之前已經學會的任務。
用更專業的術語來講就是可塑性（學習新知識的能力）和穩定性（舊知識的記憶能力）。
可是，神經網絡不同於人類，由於其自身的設計天然存在災難性遺忘問題。當學習壹個新任務的時候，需要更新網絡中的參數，但是上壹個任務提取出來的知識也是儲存在這些參數上的呀。於是，神經網絡在學習新任務的時候，舊任務的知識就會被覆蓋。
Dropout
1.提高模型準確性和魯棒性的壹個利器
網絡中有非常多的連接，我們在每壹次參數更新的時候，隨機的對這些連接做mask，mask掉的權重參數置零，不參與網絡更新。dropout可以理解成壹個簡易的assemble，每次更新壹個子網絡，最終的預測結果是所有子網絡預測的均值。
dropout強迫網絡把每壹層的模式相對均勻的記憶在各個神經元中（不加dropout時容易導致網絡退化，壹層中的神經元可能真正起作用的只有幾個）。這樣相當於增加了模型的魯棒性，後續任務對其中的小部分神經元破壞時，不會影響整體的輸出結果，對比之下，如果不加dropout，那麽壹旦關鍵的神經元被後續任務破壞，則前面的任務就完全崩了。使用dropout訓練的模型size遠大於不加dropout的模型大小。
持續學習
當前主流的針對神經網絡模型的持續學習方法可以分為以下五類：
Regularization
在網絡參數更新的時候增加限制，使得網絡在學習新任務的時候不影響之前的知識。這類方法中，最典型的算法就是EWC。
Ensembling
當模型學習新任務的時候，增加新的模型（可以是顯式或者隱式的方式），使得多個任務實質還是對應多個模型，最後把多個模型的預測進行整合。增加子模型的方式固然好，但是每多壹個新任務就多壹個子模型，對學習效率和存儲都是壹個很大的挑戰。google發布的PathNet是壹個典型的ensembling算法。
Rehearsal：
這個方法的idea非常的直觀，我們擔心模型在學習新任務的時候忘了舊任務，那麽可以直接通過不斷復習回顧的方式來解決呀( _?)?。在模型學習新任務的同時混合原來任務的數據，讓模型能夠學習新任務的同時兼顧的考慮舊任務。不過，這樣做有壹個不太好的地方就是我們需要壹直保存所有舊任務的數據，並且同壹個數據會出現多次重復學習的情況。其中，GeppNet是壹個基於rehearsal的經典算法。
Dual-memory：
這個方法結合了人類記憶的機制，設計了兩個網絡，壹個是fast-memory（短時記憶），另壹個slow-memory（長時記憶），新學習的知識存儲在fast memory中，fast-memory不斷的將記憶整合transfer到slow-memory中。其中GeppNet+STM是rehearsal和dual-memory相結合的壹個算法。
Sparse-coding:
災難性遺忘是因為模型在學習新任務（參數更新）時，把對舊任務影響重大的參數修改了。如果我們在模型訓練的時候，人為的讓模型參數變得稀疏（把知識存在少數的神經元上），就可以減少新知識記錄對舊知識產生幹擾的可能性。Sensitivity-Driven是這類方法的壹個經典算法。
這個方法的idea確實是挺合理的，當有效知識儲存在少數的節點上，那麽新知識我們就大概率可以存儲在空的神經元上。
學習
深度學習
神經網絡
家用別墅小型電梯
精選推薦
廣告持續學習：PyTorch實施各種持續學習方法（XdG，EWC，在線EWC，SI，LwF，GR，GR +蒸餾，RtF，ER，A-GEM，iCaRL）
35下載·0評論
2021年2月5日
持續學習常用6種方法總結：使ML模型適應新數據的同時保持舊數據的性能
3628閱讀·0評論·1點贊
2022年10月18日
壹時學習壹時爽，"持續學習"持續爽
1219閱讀·0評論·2點贊
2020年2月4日
2020-08-31
442閱讀·0評論·0點贊
2020年8月31日
持續學習——Continual Learning With Additive Parameter Decomposition
1182閱讀·2評論·1點贊
2021年9月30日
持續學習-Continual learning
3020閱讀·0評論·1點贊
2020年12月24日
高清播放機，圖片大全，點擊查看詳情！
精選推薦
廣告持續學習EWC代碼實現
1188閱讀·2評論·2點贊
2022年7月19日
論文解讀持續學習三種情形
1669閱讀·0評論·2點贊
2022年6月17日
[持續學習] Fisher信息矩陣與EWC
2685閱讀·2評論·12點贊
2021年5月7日
持續學習：（Elastic Weight Consolidation, EWC）Overcoming Catastrophic Forgetting in Neural Network
4310閱讀·6評論·22點贊
2020年7月19日
Life-Long Learning（LLL）終身學習的理解
6592閱讀·2評論·3點贊
2020年8月4日
動手學深度學習（十三）——模型選擇和優化（持續整理和更新，歡迎指正）
1417閱讀·1評論·3點贊
2021年7月25日
如何更新妳的機器學習模型？手把手帶妳設計壹個可持續的預測模型！
6200閱讀·0評論·2點贊
2020年3月17日
ICCV 2019 | Lifelong GAN：基於持續學習的條件圖像生成模型
1362閱讀·0評論·0點贊
2019年8月27日
如何學習算法或者模型？（持續更新中）
662閱讀·0評論·2點贊
2019年8月27日
克服神經網絡中的災難性遺忘(EWC):Overcoming catastrophic forgetting inneural networks
4655閱讀·0評論·1點贊
2020年7月30日
book.his
1下載·0評論
2023年1月7日
網絡數據庫安全設計與實現.doc
0下載·0評論
2023年1月8日
PureTuber_v2.15.10.101_VIP_Mod_HoFix_20211218.apk
0下載·0評論
2023年1月8日
路徑規劃-PRM路徑規劃基於RRT算法避障路徑規劃附matlab代碼.zip
0下載·0評論