Я пытаюсь привести в нормальную форму тексты постов из соцмедиа. При помощи Polyglot определяю язык и затем привожу текст в форму при помощи YandexSpellChecker. Проблема в том, что Polyglot часто ложно определяет как белорусский (или другие языки на кириллице) некоторые тексты на русском, видимо они содержат какие-то ошибки или специфические элементы. Использование других методов определения языка дает результат не лучше.
Я пытаюсь обойти это затруднение, применяя YandexSpellChecker, чтобы удалить из русского текста ошибки и улучшить процент выявления языка. К сожалению, при наличии большого количества ошибок YandexSpellChecker отказывается работать. Я тестировала его на небольших датафреймах, где он работает безупречно. Но стоит ему получить какую-либо очень исковерканную строчку, я получаю ответ IndexError: list index out of range. То же самое на отдельных строчках - то результат норм, то полный отказ.
Мне хотелось бы, чтобы в случае таких сложных строчек, где определение невозможно, YandexSpellChecker выдавал бы результат в виде текста "error" и продолжал анализировать строчки дальше. Такой результат был бы идеальным, так как тогда я бы смогла распознать текст, написанный на белорусском (или другом языке) и далее обращалась бы с ним как с белорусским.
Может кто помочь?
Мой код для строки:
from pyaspeller import YandexSpeller
speller = YandexSpeller()
text = 'Што яшчэ адзин мышибратья выляз ВЯРТАЙЦЕ'
changes = {change['word']: change['s'][0] for change in speller.spell(text)}
for word, suggestion in changes.items():
text = text.replace(word, suggestion)
text
Для датафрейма:
def spellcheck(text):
speller = YandexSpeller()
changes = {change['word']: change['s'][0] for change in speller.spell(text)}
for word, suggestion in changes.items():
text = text.replace(word, suggestion)
return text
df_kyr['text2']= df_kyr['tidy_text'].apply(spellcheck)
df_kyr
spellcheck()
вtry: ... except ...
блок ?