當前位置：首頁 > 编程语言 > python >内容正文

python

python统计单词出现次数_用python统计单词出现频率

發(fā)布時間：2025/4/5 python 13 豆豆

生活随笔收集整理的這篇文章主要介紹了 python统计单词出现次数_用python统计单词出现频率小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

用python的字典數(shù)據(jù)結構可以很方便地用來統(tǒng)計一篇文章的每個單詞出現(xiàn)的頻率。在文本相似度計算中，就經(jīng)常需要用到一個單詞在文章中的出現(xiàn)頻率，進而可以根據(jù)兩篇文章共有單詞在相應文章中的頻率比較，來計算相似度。python的強大功能在很大程度上依賴于字典這種數(shù)據(jù)結構。字典是一種可變的數(shù)據(jù)結構，和列表相似。它是一種基于key=>value的數(shù)據(jù)結構，value值可變，但key是不可變變量，value可以是任何一種數(shù)據(jù)對象，可以是字符串、整數(shù)、列表以及字典。

Code:

def add_words(word,words_dict):

"""把單詞添加到words_dict字典里，并計數(shù)"""

if word in words_dict:

words_dict[word]+=1

else:

words_dict[word]=1

import string

def process_line(line,words_dict):

"""處理文件每行數(shù)據(jù)"""

line=line.strip()

words_list=line.split()

for word in words_list:

word=word.lower().strip(string.punctuation) #刪除進過分割的單詞的尾部的一些符號

add_words(word,words_dict) #調用add_words函數(shù)，把單詞插入到words_dict字典中

def print_result(words_dict):

"""按格式輸出words_dict中的數(shù)據(jù)"""

val_key_list=[]

for key,val in words_dict.items():

val_key_list.append((val,key))

val_key_list.sort(reverse=True) #對val值進行逆排序

print "%-10s%-10s" %("word","count")

print "_"*25

for val,key in val_key_list:

print "%-12s %3d" %(key,val)

##################################################

def main():

"""主函數(shù)"""

words_dict={}

pFile=open("speech.txt","r")

for line in pFile:

process_line(line,words_dict)

print "the length of the dictionary:",len(words_dict)

print_result(words_dict)

運行結果圖（點擊查看大圖）：

還可以對代碼進一步處理，讓最后結果只輸出頻率大于2以及單詞長度大于3的單詞，在一些應用場景中，我們最后需要的只是那些高頻詞匯以及一些關鍵詞，像“in","is","a"之類的單詞實際上沒有意義。