本書展示了機器學習中核心的算法和理論，並闡明了算法的運行過程。本書綜合了許多的研究成果，例如統計學、人工智能、哲學、信息論、生物學、認知科學、計算復雜性和控制論等，並以此來理解問題的背景、算法和其中的隱含假定。本書可作為計算機專業
本科生、研究生教材，也可作為相關領域研究人員、教師的參考書。 機器學習這門學科所關註的問題是：計算機程序如何隨著經驗積累自動提高性能。機器學習已經被成功地應用於很多領域，從檢測信用卡交易欺詐的數據挖掘程序，到獲取戶閱讀興趣的信息過濾系統，再到能在高速公路上自動行駛的汽車。同時，這個學科的基理論和算法也有了重大進展。
這本教材的目標是展現機器學習中核心的算法和理論。機器學習從很多學科吸收了成果和概念，包括統計學、人工智能、哲學、信息論、生物學、認知科學、計算復雜性和控制等。筆者相信，研究機器學習的最佳途徑是從這些學科的觀點看待機器學習，並且以此來理解問題的背景、算法以及其中隱含的假定。這些在以往很難做到，因為在這壹領域缺少包容廣泛的原始資料，本書的主要目的就是提供這樣的壹份資料。
由於素材的多學科性，本書不要求讀者具有相應的知識背景，而是在必要時介紹其他壹些學科的基本概念，如統計學、人工智能、信息論等。介紹的重點是與機器學習關系最密切甲那些概念。本書可以作為計算機科學與工程、統計學和社會科學等專業的大學生或研究生的教材，也可作為軟件研究人員或從業人員的參考資料。
指導本書寫作的兩條原則為：第壹，它是在校大學生可以理解的；第二，它應該包含我希望我自己的博士生在開始他們的器學習研究前要掌握的內容。
指導本書寫作的第三條原則是：它應該體現理論和實踐間的均衡。機器學習理論致力於回答這樣的問題“學習性能是怎樣隨著給定的訓練樣例的數量而變化的?”和“對於各種同類型的學習任務：哪個學習算法最適合?”利用來自統計學、計算復雜性和貝葉斯分析的理論成果，這本書討論了這壹類理論問題。同時本書也涵蓋很多實踐方面的內容：介紹了這壹領域的主要算法，闡明了算法的運行過程。
其中壹些算法的實現和數據可以在因特網上通過網址http：//www．cs．cmu．edu/-tom/mlbook．html得到，包括用於人臉識別的神經網絡的源代碼和數據、用於信貸分析的決策樹學習的源代碼和數據及分析文本文檔的貝葉分類器的源代碼和數據。我很感謝那些幫助我創建這些在線資源的同事，他們是：Jason Rennie、Paul Hsiung、Jeff Shufelt、Matt Glickman、Scott Davies、Joseph O’Sullivan、Ken Lang\Andrew McCallum和Thorsten Joachims。 第1章 引言
1．1 學習問題的標準描述
1．2 設計-個學習系統
1．2．1 選擇訓練經驗
1．2．2 選擇目標函數
1．2．3 選擇目標函數的表示
1. 2．4 選擇函數逼近算法
1．2．5 最終設計
1．3 機器學習的壹些觀點和問題
1．4 如何閱讀本書
1．5 小結和補充讀物
習題
第2章 概念學習和壹般到特殊序
2．1 簡介
2．2 概念學習任務
2．2．1 術語定義
2．2．2 歸納學習假設
2．3 作為搜索的概念學習
2．4 FIND-S：尋找極大特殊假設
2．5 變型空間和候選消除算法
2．5．1 表示
2．5．2 列表後消除算法
2．5．3 變型空間的更簡潔表示
2．5．4 候選消除學習算法
2．5．5 算法的舉例
2．6 關於變型空間和候選消除的說明
2．6．1 候選消除算法是否會收斂到正確的假設
2．6．2 下壹步需要什麽樣的訓練樣例
2．6．3 怎樣使用不完全學習概念
2．7 歸納偏置
2．7．1 -個有偏的假設空間
2．7．2 無偏的學習器
2．7．3 無偏學習的無用性
2．8 小始和補充讀物
習題
第3章 決策樹學習
3．1 簡介
3．2 決策樹表示法
3．3 決策樹學習的適用問題
3．4 基本的決策樹學習算法
3．4．1 哪個屬性是最佳的分類屬性
3．4．2 舉例
3．5 決策樹學習中的假設空間搜索
3．6 決策樹學習的歸納偏置
3．6．1 限定偏置和優選偏置
3．6．2 為什麽短的假設優先
3．7 決策樹學習的常見問題
3．7．1 避免過度擬合數據
3. 7．2 合並連續值屬性
3．7．3 屬性選擇的其他度量標準
3．7．4 處理缺少屬性值的訓練樣例
3．7．5 處理不同代價的屬性
3．8 小結和補充讀物
習題
第4章 人工神經網絡
4．1 簡介
4．2 神經網絡表示
4．3 適合神經網絡學習的問題
4．4 感知器
4．4．1 感知器的表征能力
4. 4．2 感知器訓練法則
4．4．3 梯度下降和delta法則
4．4．4 小結
4．5 多層網絡和反向傳播算法
4．5．1 可微閾值單元
4．5．2 反向傳播算法
4．5．3 反向傳播法則的推導
4．6 反向傳播算法的說明
4．6．1 收斂性和局部極小值
4．6．2 前饋網絡的表征能力
4．6．3 假設空間搜索和歸納偏置
4．6．4 隱藏層表示
4．6．5 泛化、過度擬合和停止判據
4．7 舉例：人臉識別
4．7．1 任務
4．7．2 設計要素
4．7．3 學習到的隱藏層表示
4．8 人工神經網絡的高級課題
4．8．1 其他可選的誤差函數
4．8．2 其他可選的誤差最小化過程
4．8．3 遞歸網絡
4．8．4 動態修改網絡結構
4．9 小結和補充讀物
習題
第5章 評估假設
5．1 動機
5．2 估計假設精度
5．2．1 樣本錯誤率和真實錯誤率
5．2．2 離散值假設的置信區間
5．3 采樣理論基礎
5．3．1 錯誤率估計和二項比例估計
5．3．2 二項分布
5．3．3 均值和方差
5．3．4 估計量、偏差和方差
5．3．5 置信區間
5．3．6 雙側和單側邊界
5．4 推導置信區間的壹般方法
5．5 兩個假設錯誤率間的差異
5．6 學習算法比較
5．6. 1 配對t測試
5．6．2 實際考慮
5．7 小結和補充讀物
習題
第6章 貝葉斯學習
6．1 簡介
6．2 貝葉斯法則
6．3 貝葉斯法則和概念學習
6．3．1 BRUTE-FORCE貝葉斯概念學習
6．3．2 MAP假設和壹致學習器
6．4 極大似然和最小誤差平方假設
6．5 用於預測概率的極大似然假設
6．6 最小描述長度準則
6．7 貝葉斯最優分類器
6．8 GIBBS算法
6．9 樸素貝葉斯分類器
6．10 舉例：學習分類文本
6．11 貝葉斯信念網
6．11．1 條件獨立性
6．11．2 表示
6．11．3 推理
6．11．4 學習貝葉斯信念網
6．11．5 貝葉斯網的梯度上升訓練
6．11．6 學習貝葉斯網的結構
6．12 EM算法
6．12．1 估計k個高斯分布的均值
6．12．2 EM算法的壹般表述
6．12．3 k均值算法的推導
6．13 小結和補充讀物
習題
第7章 計算學習理論
7．1 簡介
7．2 可能學習近似正確假設
7．2．1 問題框架
7．2．2 假設的錯誤率
7．2．3 PAC可學習性
7．3 有限假設空間的樣本復雜度
7．3．1 不可知學習和不壹致假設
7．3．2 布爾文字的合取是PAC可學習的
7．3．3 其他概念類別的PAC可學習性
7．4 無限假設空間的樣本復雜度
7．4．1 打散壹個實例集合
7．4．2 Vapnik-Chervonenkis維度
7．4．3 樣本復雜度和VC維
7．4．4 神經網絡的VC維
7．5 學習的出錯界限模型
7．5．1 FIND-S算法的出錯界限
7．5．2 HALVING算法的出錯界限
7．5．3 最優出錯界限
7．5．4 加權多數算法
7．6 小結和補充讀物
習題
第8章 基於實例的學習
8．1 簡介
8．2 k-近鄰算法
8．2．1 距離加權最近鄰算法
8．2．2 對k-近鄰算法的說明
8．2．3 術語註解
8．3 局部加權回歸
8．3．1 局部加權線性回歸
8．3．2 局部加權回歸的說明
8．4 徑向基函數
8．5 基於案例的推理
8．6 對消極學習和積極學習的評論
8．7 小結和補充讀物
習題
第9章 遺傳算法
9．1 動機
9．2 遺傳算法
9．2．1 表示假設
9．2．2 遺傳算子
9．2．3 適應度函數和假設選擇
9．3 舉例
9．4 假設空間搜索
9．5 遺傳編程
9．5．1 程序表示
9．5．2 舉例
9．5．3 遺傳編程說明
9．6 進化和學習模型
9．6．1 拉馬克進化
9．6．2 鮑德溫效應
9．7 並行遺傳算法
9．8 小結和補充讀物
習題
第10章 學習規則集合
10．1 簡介
10．2 序列覆蓋算法
10．2．1 壹般到特殊的柱狀搜索
10．2．2 幾種變型
10．3 學習規則集：小結
10．4 學習壹階規則
10．4．1 壹階Horn子句
10．4．2 術語
10．5 學習壹階規則集：FOIL
10．5．1 FOIL中的候選特化式的生成
10．5．2 引導FOIL的搜索
10．5．3 學習遞歸規則集
10．5．4 FOIL小結
10．6 作為逆演繹的歸納
10．7 逆歸納
10．7．1 壹階歸納
10．7．2 逆歸納：壹階情況
10．7．3 逆歸納小結
10．7．4 泛化、-包容和涵蘊
10．7．5 PROGOL
10．8 小結和補充讀物
習題
第11章 分析學習
11．1 簡介
11．2 用完美的領域理論學習：PROLOG-EBG
11．3 對基於解釋的學習的說明
11．3．1 發現新特征
11．3．2 演繹學習
11．3．3 基於解釋的學習的歸納偏置
11．3．4 知識級的學習
11．4 搜索控制知識的基於解釋的學習
11．5 小結和補充讀物
習題
第12章 歸納和分析學習的結合
12．1 動機
12．2 學習的歸納-分析途徑
12．2．1 學習問題
12．2．2 假設空間搜索
12．3 使用先驗知識得到初始假設
12．3．1 KBANN算法
12．3．2 舉例
12．3．3 說明
12．4 使用先驗知識改變搜索目標
12．4．1 TANGENTPROP算法
12．4．2 舉例
12．4．3 說明
12．4．4 EBNN算法
12．4．5 說明
12．5 使用先驗知識來擴展搜索算子
12．5．1 FOCL算法
12．5．2 說明
12．6 研究現狀
12．7 小結和補充讀物
習題
第13章 增強學習
13．1 簡介
13．2 學習任務
13．3 Q學習
13．3．1 Q函數
13．3．2 壹個學習Q的算法
13．3．3 舉例
13．3．4 收斂性
13．3．5 實驗策略
13．3．6 更新序列
13．4 非確定性回報和動作
13．5 時間差分學習
13．6 從樣例中泛化
13．7 與動態規劃的聯樂
13．8 小結和補充讀物
習題
附錄 符號約定