Попробуйте так:
from string import punctuation as punct
def tokenize(
text: str,
lower_case: bool = True,
remove_punctuation: bool = True
) -> list:
res = text.replace("\n", " ").replace("\r", " ")
if lower_case:
res = res.casefold()
if remove_punctuation:
res = res.translate(str.maketrans("", "", punct))
return res.split()
with open(filename) as file:
tokens = tokenize(file.read())
lengths = dict(zip(tokens, map(len, tokens)))
Пример результата:
In [159]: lengths = dict(zip(tokens, map(len, tokens)))
In [160]: lengths
Out[160]:
{'дан': 3,
'произвольный': 12,
'текст': 5,
'без': 3,
'чисел': 5,
'только': 6,
'слова': 5,
'форматируется': 13,
'и': 1,
'заносится': 9,
'в': 1,
'список': 6,
'где': 3,
'один': 4,
'элемент': 7,
'одно': 4,
'слово': 5}
или так если нужно оставить дубликаты слов:
In [163]: lengths = [[token, len(token)] for token in tokens]
In [164]: lengths
Out[164]:
[['дан', 3],
['произвольный', 12],
['текст', 5],
['без', 3],
['чисел', 5],
['только', 6],
['слова', 5],
['текст', 5],
['форматируется', 13],
['и', 1],
['заносится', 9],
['в', 1],
['список', 6],
['где', 3],
['один', 4],
['элемент', 7],
['одно', 4],
['слово', 5]]