3

Почему код продолжается бесконечно и не заканчивается? Уже и ставила return, но тогда просчитывает только первое слово и всё.

Код:

def lol():
    import re #вызов регулярных выражени
    frequency = {} #задаем словарь частот {}-обозначение словаря
    with open(filename) as slova:
        text = slova.read()
        sentence_text = text.lower()
        pattern = re.findall(r'\b[a-z]{1,20}\b', sentence_text) #составляем регулярку через функция findall (вызов + граница + слова + длина мин и макс + граница, переменная)
        for word in pattern:
            count = frequency.get(word,0) #задаем ключ
            frequency[word] = count + 1
            frequency_list = frequency.keys()
            for words in frequency_list:
                print (words)
                return (frequency[words])
print (lol())
4
  • Ничего не бесконечно, проверьте на файле с маленьким числом слов (4-5 слов в файле например)
    – andreymal
    24 мая 2018 в 21:08
  • вы уверены, что в реальном коде отступ у второго цикла как показан в вопросе? (второй цикл должен выполняться после первого, а не внутри первого цикла)
    – jfs
    25 мая 2018 в 10:52
  • Кстати, имена вводят в заблуждение у вас. Можно заменить: slova -> file, sentence_text -> text, pattern -> words. frequency_list не нужен. См. Частота слов в тексте
    – jfs
    25 мая 2018 в 10:58
  • Подскажите версию? Или вы обе попробовали?
    – 0xdb
    25 мая 2018 в 11:19

2 ответа 2

4

Как уже объяснил @Эникейщик, вложенный цикл не нужен и только замедляет выполнение (сложность алгоритма из-за вложенного цикла - O(n^2)). Кроме того return внутри него ломает код.

Попробуйте воспользоваться модулем nltk, который предназначен для работы с естественными текстами:

In [54]: from nltk import word_tokenize, FreqDist

In [55]: data = open(r'c:/temp/TWAIN.LOG').read()

In [56]: fdist = FreqDist(word.lower() for word in word_tokenize(data) if word.isalpha())

10 наиболее часто встречающихся слов:

In [57]: fdist.most_common(10)
Out[57]:
[('message', 10),
 ('ctwtrace', 4),
 ('ctwunk', 3),
 ('dsm', 3),
 ('dsmentrydiagexit', 3),
 ('rc', 3),
 ('cc', 3),
 ('thunker', 2),
 ('scannerredirection', 2),
 ('to', 2)]

весь словарь целиком:

In [58]: dict(fdist)
Out[58]:
{'message': 10,
 'ctwunk': 3,
 'reset': 1,
 'log': 1,
 'starting': 1,
 'thunker': 2,
 'why': 1,
 'ca': 1,
 'we': 1,
 'find': 1,
 'the': 1,
 'window': 1,
 'dsm': 3,
 'dsmentrydiagexit': 3,
 'rc': 3,
 'cc': 3,
 'ctwtrace': 4,
 'scannerredirection': 2,
 'to': 2,
 'null': 2,
 'control': 2,
 'identity': 2,
 'getfirst': 1,
 'getnext': 1}
1
  • ваш ответ не объясняет "почему код считается бесконечно". Есть вопрос, где ваш ответ бы подошёл: Частота слов в тексте
    – jfs
    25 мая 2018 в 13:53
3

У вас один цикл (назначение которого мне, честно говоря, не очень понятно) вложен в другой, что а) ненужно, б) приводит к повторению одной и той же ненужной работы. И чем длиннее текст, тем больше этой ненужной работы.

После первого цикла вам нужно просто вывести нужную информацию без всяких циклов:

    for word in pattern:
        count = frequency.get(word,0) #задаем ключ
        frequency[word] = count + 1
        frequency_list = frequency.keys()

    print frequency # слова и их частота
    print frequency_list # список встречающихся слов

print (lol()) - не надо. Достаточно lol(), т.к. вывод текста у вас происходит в самой функции.

1
  • 2
    можно упомянуть, что ненужный вложенный цикл делает алгоритм квадратичным O(n**2) Если число слов в файле на порядок увеличить, то в сто раз дольше работать будет. Для миллиона слов попытается 10**12 раз print вызвать. Связанный вопрос (ещё пример квадратичного алгоритма и анекдот): Непонятное замедление конкатенации в цикле
    – jfs
    25 мая 2018 в 10:49

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.