英文文本词频统计

文本处理方法

英文词频统计分为两大步骤：

文本去噪及归一化：首先对文本进行去噪处理，将特殊字符替换为空格，并将所有字符转换为小写。

词频统计：使用字典记录每个单词的出现次数。

代码示例

#CalHamletV1.py
def getText():
    txt = open("hamlet.txt", "r").read()
    txt = txt.lower()
    for ch in '!"#$%&()*+,-./:;<=>?@[\\]^_‘{|}~':
        txt = txt.replace(ch, " ")
    return txt
hamletTxt = getText()
words = hamletTxt.split()
counts = {}
for word in words:
    counts[word] = counts.get(word, 0) + 1
items = list(counts.items())
items.sort(key=lambda x: x[1], reverse=True)
for i in range(10):
    word, count = items[i]
    print(f"{word:<10}{count:5}")

运行结果

以下是英文文本中出现频率最高的前十个单词及其频率：

the 1138

and 965

to 754

of 669

you 550

i 542

a 542

my 514

hamlet 462

in 436

中文文本词频统计

文本处理方法

中文词频统计主要包含以下步骤：

分词：使用分词工具对文本进行智能分割，确保单词准确无误。

词频统计：记录每个单词的出现次数。

优化版本

为了提高统计效率并减少不相关单词的干扰，我们可以对文本进行进一步的优化：

分词：使用分词工具对文本进行智能分割。

词频统计：记录每个单词的出现次数。

去噪处理：将无效单词移除，确保统计结果更具准确性。

以下是优化后的代码示例：

#CalThreeKingdomsV2.py
import jieba
excludes = {"将军", "却说", "荆州", "二人", "不可", "不能", "如此"}
txt = open("threekingdoms.txt", "r", encoding='utf-8').read()
words = jieba.lcut(txt)
counts = {}
for word in words:
    if len(word) == 1:
        continue
    elif word == "诸葛亮" or word == "孔明曰":
        rword = "孔明"
    elif word == "关公" or word == "云长":
        rword = "关羽"
    elif word == "玄德" or word == "玄德曰":
        rword = "刘备"
    elif word == "孟德" or word == "丞相":
        rword = "曹操"
    else:
        rword = word
    counts[rword] = counts.get(rword, 0) + 1
for word in excludes:
    del counts[word]
items = list(counts.items())
items.sort(key=lambda x: x[1], reverse=True)
for i in range(10):
    word, count = items[i]
    print(f"{word:<10}{count:5}")