一.引入

決策樹基本上是每一本機器學(xué)習(xí)入門書籍必講的東西，其決策過程和平時我們的思維很相似，所以非常好理解，同時有一堆信息論的東西在里面，也算是一個入門應(yīng)用，決策樹也有回歸和分類，但一般來說我們主要講的是分類，方便理解嘛。

雖然說這是一個很簡單的算法，但其實現(xiàn)其實還是有些煩人，因為其feature既有離散的，也有連續(xù)的，實現(xiàn)的時候要稍加注意

          (不同特征的決策，圖片來自【1】)

O-信息論的一些point：

     首先看這里： http://blog.csdn.net/dark_scope/article/details/8459576              然后加入一個叫信息增益的東西：              □.信息增益：(information gain)                                  g(D,A) = H(D)-H(D|A)                                  表示了特征A使得

總結(jié)

以上是生活随笔為你收集整理的决策树--从原理到实现的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。