量子位 出品 | 公眾號 QbitAI
2018，仍是AI領域激動人心的壹年。
這壹年成為NLP研究的分水嶺，各種突破接連不斷；CV領域同樣精彩紛呈，與四年前相比GAN生成的假臉逼真到讓人不敢相信；新工具、新框架的出現，也讓這個領域的明天特別讓人期待……近日，Analytics Vidhya發布了壹份2018人工智能技術總結與2019趨勢預測報告，原文作者PRANAV DAR。量子位在保留這個報告架構的基礎上，對內容進行了重新編輯和補充。這份報告總結和梳理了全年主要AI技術領域的重大進展，同時也給出了相關的資源地址，以便大家更好的使用、查詢。報告***涉及了五個主要部分：
下面，我們就逐壹來盤點和展望，嘿餵狗~
2018年在NLP 歷史 上的特殊地位，已經毋庸置疑。
這份報告認為，這壹年正是NLP的分水嶺。2018年裏，NLP領域的突破接連不斷：ULMFiT、ELMo、最近大熱的BERT……
遷移學習成了NLP進展的重要推動力。從壹個預訓練模型開始，不斷去適應新的數據，帶來了無盡的潛力，甚至有“NLP領域的ImageNet時代已經到來”壹說。
正是這篇論文，打響了今年NLP遷移學習狂歡的第壹槍。論文兩名作者壹是Fast.ai創始人Jeremy Howard，在遷移學習上經驗豐富；壹是自然語言處理方向的博士生Sebastian Ruder，他的NLP博客幾乎所有同行都在讀。兩個人的專長綜合起來，就有了ULMFiT。想要搞定壹項NLP任務，不再需要從0開始訓練模型，拿來ULMFiT，用少量數據微調壹下，它就可以在新任務上實現更好的性能。
他們的方法，在六項文本分類任務上超越了之前最先進的模型。詳細的說明可以讀他們的論文：/google-research/bert如果妳是PyTorch黨，也不怕。這裏還有官方推薦的PyTorch重實現和轉換腳本：/huggingface/pytorch-pretrained-BERT
BERT之後，NLP圈在2018年還能收獲什麽驚喜？答案是，壹款新工具。
就在上周末，Facebook開源了自家工程師們壹直在用的NLP建模框架PyText。這個框架，每天要為Facebook旗下各種應用處理超過10億次NLP任務，是壹個工業級的工具包。
（Facebook開源新NLP框架：簡化部署流程，大規模應用也OK）
PyText基於PyTorch，能夠加速從研究到應用的進度，從模型的研究到完整實施只需要幾天時間。框架裏還包含了壹些預訓練模型，可以直接拿來處理文本分類、序列標註等任務。
想試試？開源地址在此：
/facebookresearch/pytext
它能主動打電話給美發店、餐館預約服務，全程流暢交流，簡直以假亂真。Google董事長John Hennessy後來稱之為“非凡的突破”，還說：“在預約領域，這個AI已經通過了圖靈測試。”Duplex在多輪對話中表現出的理解能力、合成語音的自然程度，都是NLP目前水平的體現。如果妳還沒看過它的視頻……
NLP在2019年會怎麽樣？我們借用壹下ULMFiT作者Sebastian Ruder的展望：
今年9月，當搭載BigGAN的雙盲評審中的ICLR 2019論文現身，行家們就沸騰了： 簡直看不出這是GAN自己生成的 。
在計算機圖像研究史上，BigGAN的效果比前人進步了壹大截。比如在ImageNet上進行128×128分辨率的訓練後，它的Inception Score（IS）得分166.3，是之前最佳得分52.52分 3倍 。
除了搞定128×128小圖之外，BigGAN還能直接在256×256、512×512的ImageNet數據上訓練，生成更讓人信服的樣本。
在論文中研究人員揭秘，BigGAN的驚人效果背後，真的付出了金錢的代價，最多要用512個TPU訓練，費用可達11萬美元，合人民幣76萬元。
不止是模型參數多，訓練規模也是有GAN以來最大的。它的參數是前人的2-4倍，批次大小是前人的8倍。
研究論文：/NVIDIA/vid2vid
相關地址
相關地址