1. 實現(xiàn)

香農(nóng)熵又稱信息熵，反映了一條信息的信息量大小和它的不確定性之間的關(guān)系，是信息量的度量，單位為 bit。

對于某件事情：

• 不確定性越大，熵越大，確定該事所需的信息量也越大；
• 不確定性越小，熵越小，確定該事所需的信息量也越小。

假設有一事件XX，XX事件有ii種可能性，每一種可能性發(fā)生的概率記為P(Xi)P(Xi)，則香農(nóng)熵的計算公式為：

2. python代碼實現(xiàn)：

計算給定數(shù)據(jù)集的香農(nóng)熵

def calsShannonEnt(dataSet):numEntries = len(dataSet)labelCounts = {}for dataVec in dataSet:label = dataVec[-1]if label not in labelCounts.keys():labelCounts[label] = 0labelCounts[label] += 1shannonEnt = 0.0for key in labelCounts.keys():prob = float(labelCounts[key]) / numEntriesshannonEnt -= prob * math.log(prob, 2)return shannonEntif __name__ == "__main__":print("Code Run As A Program")

總結(jié)

以上是生活随笔為你收集整理的【算法】Shannon Entropy决策中的香农熵介绍、计算以及python代码实现的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。