1

У меня файл .txt с неким текстом. Как я могу разбить текст на слова, выстроить их в список и вывести начальную форму каждого слова с помощью pymorphy2?

Список я вывожу, например так:

f = open('eremin.txt',  encoding='utf-8')
ls = list()
for line in f:
    lst = line.split()
    ls.append(lst)
c = ls
print (c)

Но не понимаю, как сюда присоединить pymorphy, чтобы он обращался к каждому слову из списка и выдавал normal_form?

1

1 ответ 1

4

Для начала смотрим документацию, чтобы понять как сделать нужную операцию для одного слова: Руководство пользователя.

Получаем что-то вроде этого:

import pymorphy2
morph = pymorphy2.MorphAnalyzer()

word = "стали"
p = morph.parse(word)[0]  # Делаем полный разбор, и берем первый вариант разбора (условно "самый вероятный", но не факт что правильный)
print(p.normal_form)  # стать

Теперь это нужно прикрутить к вашему коду. Импорт модуля и инициализацию анализатора оставляем на самом верху. Дальше, на каждой итерации цикла вы получаете список слов в строке. Чтобы применить нужную операцию к этому списку нужен еще один цикл. Пробуем собрать все вместе:

import pymorphy2
morph = pymorphy2.MorphAnalyzer()

with open('barmaglot.txt',  encoding='utf-8') as f:
    ls = []
    for line in f:
        lst = line.split()

        words = []
        for word in lst:
            p = morph.parse(word)[0]  # делаем разбор
            words.append(p.normal_form)

        ls.append(words)

print(ls)

Исходный файл:

Бармаглот
Варкалось Хливкие шорьки
Пырялись по наве
И хрюкотали зелюки
Как мюмзики в мове

(знаки препинания убрал вручную)

Вывод:

[['бармаглот'], ['варкалось', 'хливкий', 'шорёк'], ['пыряться', 'по', 'нава'], ['и', 'хрюкоталь', 'зелюк'], ['как', 'мюмзика', 'в', 'мов']]

Тут кстати видно, что первый разбор не всегда правильный, например чисто интуитивно "хрюкотали" - это глагол, а "мюмзики" - это существительное мужского рода, и т.д. В данном случае правда остальных вариантов разбора не сильно поможет, т.к. разбор был сделан с помощью "предсказателя" (FakeDictionary), но для словарных слов полезно брать не первый разбор, а сначала отфильтровывать например по предполагаемой части речи и форме слова.

Допустим, если на входе словосочетание, первым идет прилагательное, потом существительное, слова согласованы. Тогда сначала разбираем второе слово, оставляем разборы, где это слово разобрано как существительное. Далее смотрим (вероятные) род/число и падеж, и дальше уже разбираем первое слово, и оставляем разборы, подходящие по форме. "Ранг" (score, "вероятность") разбора я бы советовал вообще не учитывать, он только сбивает с толку.

По поводу улучшений кода. Можно внутренний цикл записать в одну строку:

words = [morph.parse(word)[0].normal_form for word in line.split()]

и вообще оба цикла объединить в одно выражение, получится как-то так:

import pymorphy2
morph = pymorphy2.MorphAnalyzer()

with open('barmaglot.txt',  encoding='utf-8') as f:
    ls = [
        [morph.parse(word)[0].normal_form for word in line.split()]
        for line in f
    ]

print(ls)

Также, при разборе строки на слова лучше учитывать, что в строке могут попадаться знаки препинания, которые будут находиться рядом со словами, и при разборе могут быть приняты за часть слова. Чтобы их убрать, можно воспользоваться регулярными выражениями. В простейшем случае, можно добавить импорт import re в начало, и выражение line.split() заменить на re.findall(r'\w+', line).

Пример:

import re

line = 'О, бойся Бармаглота, сын!'
print(re.findall(r'\w+', line))  # ['О', 'бойся', 'Бармаглота', 'сын']

# Для сравнения, просто split:
print(line.split())  # ['О,', 'бойся', 'Бармаглота,', 'сын!']

Подробнее про регулярные выражения можно почитать, например, здесь: Регулярные выражения, пособие для новичков.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.