Держи, можешь доработать, так как я не очень шарю в pandas таблица выводиться не совсем так как хотелось бы, но похожие слова считает правильно
import re
import pandas as pd
frequency = {}
document_text = open(text.txt 'r')
text_string = document_text.read().lower()
text_string = document_text.lower()
match_pattern = re.findall(r'\b[а-я]{1,15}\b', text_string)
for word in match_pattern:
count = frequency.get(word, 0)
frequency[word] = count + 1
frequency_list = frequency.keys()
for words in frequency_list:
d = {'слово': [words], 'частота': [frequency[words]]}
df = pd.DataFrame(data=d)
print('-'*100)
print(df)