數據預處理
模型能聊的內容也取決於選取的語料。如果已經具備了原始聊天數據，可以用SQL通過關鍵字查詢壹些對話，也就是從大庫裏選取出壹個小庫來訓練。從壹些論文上，很多算法都是在數據預處理層面的，比如Mechanism-Aware Neural Machine for Dialogue Response Generation就介紹了，從大庫中抽取小庫，然後再進行融合，訓練出有特色的對話來。
對於英語，需要了解NLTK，NLTK提供了加載語料，語料標準化，語料分類，PoS詞性標註，語意抽取等功能。
另壹個功能強大的工具庫是CoreNLP，作為 Stanford開源出來的工具，特色是實體標註，語意抽取，支持多種語言。
下面主要介紹兩個內容：
中文分詞
現在有很多中文分詞的SDK，分詞的算法也比較多，也有很多文章對不同SDK的性能做比較。做中文分詞的示例代碼如下。
# coding:utf8
''' ?
Segmenter with Chinese ?
'''
import jieba ?
import langid
def segment_chinese_sentence(sentence):
'''
Return segmented sentence.
'''
seg_list = jieba.cut(sentence, cut_all=False)
seg_sentence = u" ".join(seg_list)
return seg_sentence.strip().encode('utf8')
def process_sentence(sentence):
'''
Only process Chinese Sentence.
'''
if langid.classify(sentence)[0] == 'zh':
return segment_chinese_sentence(sentence)
return sentence
if __name__ == "__main__":
print(process_sentence('飛雪連天射白鹿'))
print(process_sentence('I have a pen.'))
以上使用了langid先判斷語句是否是中文，然後使用jieba進行分詞。
在功能上，jieba分詞支持全切分模式，精確模式和搜索引擎模式。
全切分：輸出所有分詞。
精確：概率上的最佳分詞。
所有引擎模式：對精確切分後的長句再進行分詞。
jieba分詞的實現
主要是分成下面三步：
1、加載字典，在內存中建立字典空間。
字典的構造是每行壹個詞，空格，詞頻，空格，詞性。
上訴書 3 n
上訴人 3 n
上訴期 3 b
上訴狀 4 n
上課 650 v
建立字典空間的是使用python的dict，采用前綴數組的方式。
使用前綴數組的原因是樹結構只有壹層 -?word:freq，效率高，節省空間。比如單詞"dog", 字典中將這樣存儲：
{
"d": 0,
"do": 0,
"dog": 1 # value為詞頻
}
字典空間的主要用途是對輸入句子建立有向無環圖，然後根據算法進行切分。算法的取舍主要是根據模式?- 全切，精確還是搜索。
2、對輸入的語句分詞，首先是建立壹個有向無環圖。?
有向無環圖,?Directed acyclic graph?(音 /?d?ɡ/)。
圖 3-2 DAG
DAG對於後面計算最大概率路徑和使用HNN模型識別新詞有直接關系。
3、按照模式，對有向無環圖進行遍歷，比如，在精確模式下，便利就是求最大權重和的路徑，權重來自於在字典中定義的詞頻。對於沒有出現在詞典中的詞，連續的單個字符也許會構成新詞。然後用HMM模型和Viterbi算法識別新詞。
精確模型切詞：使用動態規劃對最大概率路徑進行求解。
最大概率路徑：求route = (w1, w2, w3 ,.., wn)，使得Σweight(wi)最大。Wi為該詞的詞頻。
更多的細節還需要讀壹下jieba的源碼。
自定義字典
jieba分詞默認的字典是:1998人民日報的切分語料還有壹個msr的切分語料和壹些txt小說。開發者可以自行添加字典，只要符合字典構建的格式就行。
jieba分詞同時提供接口添加詞匯。
Word embedding
使用機器學習訓練的語言模型，網絡算法是使用數字進行計算，在輸入進行編碼，在輸出進行解碼。word embedding就是編解碼的手段。
圖 3-3 word embedding, Ref. #7
word embedding是文本的數值化表示方法。表示法包括one-hot，bag of words，N-gram，分布式表示，***現矩陣等。
Word2vec
近年來，word2vec被廣泛采用。Word2vec輸入文章或者其他語料，輸出語料中詞匯建設的詞向量空間。詳細可參考word2vec數學原理解析。
使用word2vec
安裝完成後，得到word2vec命令行工具。
word2vec -train "data/review.txt" \
-output "data/review.model" \
-cbow 1 \
-size 100 \
-window 8 \
-negative 25 \
-hs 0 \
-sample 1e-4 \
-threads 20 \
-binary 1 \
-iter 15
-train "data/review.txt" 表示在指定的語料庫上訓練模型
-cbow 1 表示用cbow模型，設成0表示用skip-gram模型
-size 100 詞向量的維度為100
-window 8 訓練窗口的大小為8 即考慮壹個單詞的前八個和後八個單詞
-negative 25 -hs 0 是使用negative sample還是HS算法
-sample 1e-4 采用閾值
-threads 20 線程數
-binary 1 輸出model保存成2進制
-iter 15 叠代次數
在訓練完成後，就得到壹個model，用該model可以查詢每個詞的詞向量，在詞和詞之間求距離，將不同詞放在數學公式中計算輸出相關性的詞。比如：
vector("法國") - vector("巴黎) + vector("英國") = vector("倫敦")" ?
對於訓練不同的語料庫，可以單獨的訓練詞向量模型，可以利用已經訓練好的模型。
其它訓練詞向量空間工具推薦：Glove。
Seq2Seq
2014年，Sequence to Sequence Learning with Neural Networks提出了使用深度學習技術，基於RNN和LSTM網絡訓練翻譯系統，取得了突破，這壹方法便應用在更廣泛的領域，比如問答系統，圖像字幕，語音識別，撰寫詩詞等。Seq2Seq完成了encoder + decoder -> target的映射，在上面的論文中，清晰的介紹了實現方式。
圖 3-4 Seq2Seq, Ref. #1
也有很多文章解讀它的原理。在使用Seq2Seq的過程中，雖然也研究了它的結構，但我還不認為能理解和解釋它。下面談兩點感受：
a. RNN保存了語言順序的特點，這和CNN在處理帶有形狀的模型時如出壹轍，就是數學模型的設計符合物理模型。
圖 3-5 RNN, Ref. #6
b. LSTM Cell的復雜度對應了自然語言處理的復雜度。
圖 3-6 LSTM, Ref. #6
理由是，有人將LSTM Cell嘗試了多種其它方案傳遞狀態，結果也很好。
圖 3-7 GRU, Ref. #6
LSTM的壹個替代方案：GRU。只要RNN的Cell足夠復雜，它就能工作的很好。
使用DeepQA2訓練語言模型
準備工作，下載項目：
git clone /Samurais/DeepQA2.git ?
cd DeepQA2 ?
open README.md # 根據README.md安裝依賴包 ?
DeepQA2將工作分成三個過程：
數據預處理：從語料庫到數據字典。
訓練模型：從數據字典到語言模型。
提供服務：從語言模型到RESt API。
預處理
DeepQA2使用Cornell Movie Dialogs Corpus作為demo語料庫。
原始數據就是movie_lines.txt?和movie_conversations.txt。這兩個文件的組織形式參考README.txt
deepqa2/dataset/preprocesser.py是將這兩個文件處理成數據字典的模塊。
train_max_length_enco就是問題的長度，train_max_length_deco就是答案的長度。在語料庫中，大於該長度的部分會被截斷。
程序運行後，會生成dataset-cornell-20.pkl文件，它加載到python中是壹個字典：
word2id存儲了{word: id}，其中word是壹個單詞，id是int數字，代表這個單詞的id。
id2word存儲了{id: word}。
trainingSamples存儲了問答的對話對。
比如 [[[1,2,3],[4,5,6]], [[7,8,9], [10, 11, 12]]]
1，2，3 ... 12 都是word id。
[1,2,3] 和 [4,5,6] 構成壹個問答。 [7,8,9] 和 [10, 11, 12] 構成壹個問答。
開始訓練
cp config.sample.ini config.ini # modify keys ?
python deepqa2/train.py ?
config.ini是配置文件, 根據config.sample.ini進行修改。訓練的時間由epoch，learning rate, maxlength和對話對的數量而定。
deepqa2/train.py大約100行，完成數據字典加載、初始化tensorflow的session，saver，writer、初始化神經元模型、根據epoch進行叠代，保存模型到磁盤。
session是網絡圖，由placeholder, variable, cell, layer, output 組成。
saver是保存model的，也可以用來恢復model。model就是實例化variable的session。
writer是查看loss fn或者其他開發者感興趣的數據的收集器。writer的結果會被saver保存，然後使用tensorboard查看。
Model
Model的構建要考慮輸入，狀態，softmax，輸出。
定義損耗函數，使用AdamOptimizer進行叠代。
最後，參考壹下訓練的loop部分。
每次訓練，model會被存儲在?save路徑下，文件夾的命名根據機器的hostname，時間戳生成。
提供服務
在TensorFlow中，提供了標準的serving模塊 - tensorflow serving。但研究了很久，還專門看了壹遍 《C++ Essentials》，還沒有將它搞定，社區也普遍抱怨tensorflow serving不好學，不好用。訓練結束後，使用下面的腳本啟動服務，DeepQA2的serve部分還是調用TensorFlow的python api。
cd DeepQA2/save/deeplearning.cobra.vulcan.20170127.175256/deepqa2/serve ?
cp db.sample.sqlite3 db.sqlite3 ?
python manage.py runserver 0.0.0.0:8000 ?
測試
POST /api/v1/question HTTP/1.1 ?
Host: 127.0.0.1:8000 ?
Content-Type: application/json ?
Authorization: Basic YWRtaW46cGFzc3dvcmQxMjM= ?
Cache-Control: no-cache
{"message": "good to know"}
response ?
{
"rc": 0,
"msg": "hello"
}
serve的核心代碼在serve/api/chatbotmanager.py中。
使用腳本
scripts/start_training.sh?啟動訓練
scripts/start_tensorboard.sh?啟動Tensorboard
scripts/start_serving.sh?啟動服務
對模型的評價
目前代碼具有很高的維護性，這也是從DeepQA項目進行重構的原因，更清晰的數據預處理、訓練和服務。有新的變更可以添加到deepqa2/models中，然後在train.py和chatbotmanager.py變更壹下。
有待改進的地方
a. 新建models/rnn2.py, 使用dropout。目前DeepQA中已經使用了Drop.
b. tensorflow rc0.12.x中已經提供了seq2seq network，可以更新成tf版本.
c. 融合訓練，目前model只有壹個庫，應該是設計壹個新的模型，支持壹個大庫和小庫，不同權重進行，就如Mechanism-Aware Neural Machine?for Dialogue Response Generation的介紹。
d. 代碼支持多機多GPU運行。
e. 目前訓練的結果都是QA對，對於壹個問題，可以有多個答案。
f. 目前沒有壹個方法進行accuracy測試，壹個思路是在訓練中就提供幹擾項，因為當前只有正確的答案，如果提供錯誤的答案（而且越多越好），就可以使用recall_at_k方法進行測試。
機器人家上了解到的，希望對妳有用