1

Да, таких вопросов было уже много, но практически все они работали или плохо, или вообще не работали. Например: любой текст из первого тома войны и мира, текст будет написан без ошибок и в стандартном стиле. Но старые обработчики не справлялись с сокращениями наподобие "т.д.".

Был отличный вариант с NLTK, но он работает только на английском, а мне нужен только на русском.

Посоветуйте, чем можно воспользоваться?

2

1 ответ 1

4

https://github.com/Mottl/ru_punkt

Russian language support for NLTK's PunktSentenceTokenizer

ru_punkt is a part of nltk_data since 2019-07-04

Пример:

import nltk

nltk.download('punkt')

text = """Л.Н. Толстой "Война и мир" и т.д. и т.п. и другие сокращения. Следующее предложение."""

sentences = nltk.sent_tokenize(text, language="russian")

результат:

In [27]: sentences
Out[27]:
['Л.Н. Толстой "Война и мир" и т.д. и т.п. и другие сокращения.',
 'Следующее предложение.']

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.