但是妳要知道word2vec有這個工具,它也有類似gensim的工具包。於是更進壹步,我問了壹下原生word2vec和fasttext在實現上的區別,增加了哪些工程技巧?為了避免OoV(out of vocab)現象,設計了允許添加子詞的特性,子詞可以是n-gram,以擴大詞匯量。當然我們知道word2vec提供了兩種模式來訓練cbow和skipgram。它們的結構都是輸出層、隱藏層、輸出層,屬於全連通層。輸出層為全連接層+softmax,全連接層+softmax。計算量很大怎麽辦?就是允許使用分級softmax。