2

Я пытаюсь привести в нормальную форму тексты постов из соцмедиа. При помощи Polyglot определяю язык и затем привожу текст в форму при помощи YandexSpellChecker. Проблема в том, что Polyglot часто ложно определяет как белорусский (или другие языки на кириллице) некоторые тексты на русском, видимо они содержат какие-то ошибки или специфические элементы. Использование других методов определения языка дает результат не лучше.

Я пытаюсь обойти это затруднение, применяя YandexSpellChecker, чтобы удалить из русского текста ошибки и улучшить процент выявления языка. К сожалению, при наличии большого количества ошибок YandexSpellChecker отказывается работать. Я тестировала его на небольших датафреймах, где он работает безупречно. Но стоит ему получить какую-либо очень исковерканную строчку, я получаю ответ IndexError: list index out of range. То же самое на отдельных строчках - то результат норм, то полный отказ.

Мне хотелось бы, чтобы в случае таких сложных строчек, где определение невозможно, YandexSpellChecker выдавал бы результат в виде текста "error" и продолжал анализировать строчки дальше. Такой результат был бы идеальным, так как тогда я бы смогла распознать текст, написанный на белорусском (или другом языке) и далее обращалась бы с ним как с белорусским.

Может кто помочь?

Мой код для строки:

from pyaspeller import YandexSpeller
speller = YandexSpeller()
text = 'Што яшчэ адзин мышибратья выляз ВЯРТАЙЦЕ'
changes = {change['word']: change['s'][0] for change in speller.spell(text)}
for word, suggestion in changes.items():
    text = text.replace(word, suggestion)
text

Для датафрейма:

def spellcheck(text):
    speller = YandexSpeller()
    changes = {change['word']: change['s'][0] for change in speller.spell(text)}
    for word, suggestion in changes.items():
            text = text.replace(word, suggestion)
    return text  

df_kyr['text2']= df_kyr['tidy_text'].apply(spellcheck)
df_kyr
2
  • а почему не оформить логику в функции spellcheck() в try: ... except ... блок ? 17 июн 2020 в 13:51
  • @MaxUСпасибо. Да, это мне и нужно, но сделать это правильно мне как новичку сложно. Когда я выполняю: def spellcheck(text): speller = YandexSpeller() changes = {change['word']: change['s'][0] for change in speller.spell(text)} try: for word, suggestion in changes.items(): text = text.replace(word, suggestion) return text except Exception as error: print (error) и применяю ее к колонкам df, получаю все ту же ошибку. Мне нужно, чтобы функция писала сообщение об ошибке и продолжала обрабатывать следующую ячейку. Что я делаю не так?
    – Elena
    18 июн 2020 в 8:00

1 ответ 1

1

Ок, как предложил @MaxU, сработал try... except... в таком виде:

from pyaspeller import YandexSpeller
def spellcheck2(text):
    try:
        speller = YandexSpeller()
        changes = {change['word']: change['s'][0] for change in speller.spell(text)}
        for word, suggestion in changes.items():
            text = text.replace(word, suggestion)
        return text
    except:
        return 'error'

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.