英文文本词频统计

文本处理方法

英文词频统计分为两大步骤：

文本去噪及归一化：首先对文本进行去噪处理，将特殊字符替换为空格，并将所有字符转换为小写。

词频统计：使用字典记录每个单词的出现次数。

代码示例

#CalHamletV1.pydef getText():    txt = open("hamlet.txt", "r").read()    txt = txt.lower()    for ch in '!"#$%&()*+,-./:;<=>?@[\\]^_‘{|}~':        txt = txt.replace(ch, " ")    return txthamletTxt = getText()words = hamletTxt.split()counts = {}for word in words:    counts[word] = counts.get(word, 0) + 1items = list(counts.items())items.sort(key=lambda x: x[1], reverse=True)for i in range(10):    word, count = items[i]    print(f"{word:<10}{count:5}")

运行结果

以下是英文文本中出现频率最高的前十个单词及其频率：

the 1138

and 965

to 754

of 669

you 550

i 542

a 542

my 514

hamlet 462

in 436

中文文本词频统计

文本处理方法

中文词频统计主要包含以下步骤：

分词：使用分词工具对文本进行智能分割，确保单词准确无误。

词频统计：记录每个单词的出现次数。

优化版本

为了提高统计效率并减少不相关单词的干扰，我们可以对文本进行进一步的优化：

分词：使用分词工具对文本进行智能分割。

词频统计：记录每个单词的出现次数。

去噪处理：将无效单词移除，确保统计结果更具准确性。

以下是优化后的代码示例：

#CalThreeKingdomsV2.pyimport jiebaexcludes = {"将军", "却说", "荆州", "二人", "不可", "不能", "如此"}txt = open("threekingdoms.txt", "r", encoding='utf-8').read()words = jieba.lcut(txt)counts = {}for word in words:    if len(word) == 1:        continue    elif word == "诸葛亮" or word == "孔明曰":        rword = "孔明"    elif word == "关公" or word == "云长":        rword = "关羽"    elif word == "玄德" or word == "玄德曰":        rword = "刘备"    elif word == "孟德" or word == "丞相":        rword = "曹操"    else:        rword = word    counts[rword] = counts.get(rword, 0) + 1for word in excludes:    del counts[word]items = list(counts.items())items.sort(key=lambda x: x[1], reverse=True)for i in range(10):    word, count = items[i]    print(f"{word:<10}{count:5}")