因為這樣做可以很清楚地理解整個目標，並且壹步壹步推導出如何進行樹的學習。傳統的GBDT大家可以理解如優化平法殘差，但是這樣壹個形式包含可所有可以求導的目標函數。
也就是說有了這個形式，寫出來的代碼可以用來求解包括回歸，分類和排序的各種問題，正式的推導可以使得機器學習的工具更加壹般。
簡答說壹說吧：實際上使用二階泰勒展開是為了xgboost能夠自定義loss function，如果按照最小二乘法的損失函數直接推導，同樣能夠得到陳佬最終的推導式子：
二階泰勒展開實際不是 ?最小二乘法，平方損失函數的二階泰勒展開=最小二乘法。但陳佬為何想用二階泰勒展開呢，猜是為了xgboost庫的可擴展性，因為任何損失函數只要二階可導即能復用陳佬所做的關於最小二乘法的任何推導。
而且泰勒的本質是盡量去模仿壹個函數，猜二階泰勒展開已經足以近似大量損失函數了，典型的還有基於分類的對數似然損失函數。嘿，這樣同壹套代碼就能完成回歸或者分類了，而不是每次都推導壹番，重寫訓練代碼。
擴展資料：
泰勒以微積分學中將函數展開成無窮級數的定理著稱於世。這條定理大致可以敘述為：函數在壹個點的鄰域內的值可以用函數在該點的值及各階導數值組成的無窮級數表示出來。
然而，在半個世紀裏，數學家們並沒有認識到泰勒定理的重大價值。這壹重大價值是後來由拉格朗日發現的，他把這壹定理刻畫為微積分的基本定理。泰勒定理的嚴格證明是在定理誕生壹個世紀之後，由柯西給出的。
泰勒定理開創了有限差分理論，使任何單變量函數都可展成冪級數；同時亦使泰勒成了有限差分理論的奠基者。泰勒於書中還討論了微積分對壹系列物理問題之應用。
其中以有關弦的橫向振動之結果尤為重要。他透過求解方程導出了基本頻率公式，開創了研究弦振問題之先河。此外，此書還包括了他於數學上之其他創造性工作，如論述常微分方程的奇異解，曲率問題之研究等。
百度百科-代價函數
百度百科-泰勒公式