0

Вот как я загрузил или импортировал необходимый текстовый файл. Я просто не понимаю, как с ним работать.

from nltk.corpus import gutenberg
import nltk

nltk.download('gutenberg')

brown1 = gutenberg.fileids()
print(brown1)

Мне нужно обработать текстовый файл chesterton-brown.txt.

Определите количество слов в тексте.

Определите 10 наиболее часто употребляемых слов в тексте, постройте по этим данным гистограмму.

Удалить из текста стоп-слова и пунктуацию, снова найти 10 наиболее часто употребляемых слов в тексте и построить на их основе гистограмму.

Я хотел бы видеть текст, который я обрабатываю, я видел следующую функцию, используемую для этого brown = gutenberg.words('chesterton-brown.txt') Но она возвращает 6 слов, действительно ли в этом файле 6 слов?

Также для определения 10 наиболее используемых слов мне нужно провести токенизацию, насколько я понимаю, затем удалить стоп-слова и сделать это снова. Но я не понимаю, как присвоить содержимое текстового файла переменной для выполнения этих операций. В общем, тема показалась мне очень сложной, и поиск информации не дает мне большего понимания. Было бы здорово, если бы кто-нибудь рассказал мне, как это вообще работает, какие функции лучше использовать.

1 ответ 1

0

В документе chesterton-brown.txt не 6 слов. Полный текст можно увидеть, например, так:

from nltk.corpus import gutenberg
import nltk


nltk.download('gutenberg')
words = []
for i in gutenberg.words('chesterton-brown.txt'):
    words.append(i)
print(' '.join(words))

Насчёт выполнения задания вы все верно пишете: токенизация, удаление стоп-слов. Возможно, после этого следует ещё сделать стемминг или лемматизацию, т.е. привести слова к одной форме, иначе разные формы слов у вас будут считаться как разные слова.

По поводу функций вам лучше смотреть документацию и примеры кода. По nltk есть целая книга для Питона. Там всё очень подробно расписано с примерами кода. В том числе под ваши задания там всё есть (например, 2 глава).

Книга по nltk

Также есть перевод статьи, где описаны основные функции с примерами кода, в том числе для вашего задания. Перевод статьи Код из этой статьи есть в оригинальной статье: Оригинал статьи

2
  • 1
    Спасибо. Это то что было нужно. <3
    – Dima
    12 окт 2022 в 14:23
  • Тогда нажимайте принять ответ :)
    – Tester
    12 окт 2022 в 18:54

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.