2

хочу сделать скрипт по типу: вводишь текст -> прога проверяет, правильная ли раскладка -> если нет, то пишет исправленный вариант. типа как в поисковиках. например:

юзер: привет прога: юзер: ghbdtn прога: привет

есть ли для этого какие-то библиотеки или сервисы? заранее спасибо

1
  • 2
    для этого уже есть готовые программы 25 окт 2021 в 21:02

1 ответ 1

5

Может есть и готовые варианты, но могу предложить примерный путь, куда можно двигаться самому, это не сложно. Берём готовую подборку частот двухбуквенных сочетаний и проверяем, насколько введённое слово получается "естественным" в той раскладке, в которой оно введено:

import pandas as pd

def is_good(word, freq):
    word = word.lower()
    metric = [freq.get(a+b, 0) for a, b in zip(word, word[1:]) if a.isalpha() and b.isalpha()]
    return round(sum(metric) / len(metric), 2), word

# Частотность двухбуквенных сочетаний
url = 'https://docs.google.com/spreadsheets/d/1RRf5NIF1d0k9VonrByQXfUGu3tO41rYFu6gmg75IlSg/edit#gid=0'
df = pd.read_html(url, index_col=0, encoding='UTF-8')[0]
df = df.iloc[:,:2]
df.to_csv('ru_freq_2.csv', index=False)
df['C'] = df['B'] * len(df['B']) / df['B'].sum()
d = dict(df[['A','C']].values)

print(is_good('Привет!', d))
print(is_good('руддщ!', d)) # hello!
print(is_good('финтифлюшка', d))
print(is_good('вуглускр', d))
print(is_good('кандибобер', d))
print(is_good('Владимир', d))
print(is_good('Какое-то длинное длинное предложение из нормальных слов', d))

Вывод:

(1.04, 'привет!')
(0.14, 'руддщ!')
(0.32, 'финтифлюшка')
(0.13, 'вуглускр')
(0.63, 'кандибобер')
(0.42, 'владимир')
(1.0, 'какое-то длинное длинное предложение из нормальных слов')

Как можно видеть, чем "натуральнее" слово, тем у него больше метрика получается. Что ещё нужно сделать:

  • сделать функцию транслитерации в другую раскладку
  • взять английский частотный словарь, чтобы считать "натуральность" английских слов
  • считать четыре варианта метрики: (два варианта раскладки) * (частоты английские, частоты русские)
  • у какого варианта из четырёх будет больше всего метрика, ту раскладку и оставляем как правильную

Примерно вот так. Ну или если сразу разобраться, какая из раскладок русская, а какая английская, то можно только две метрики считать - русскую для русской раскладки, английскую для английской, какая больше - та и правильная.

Вообще надо будет потом доработать и сделать прямо пакет питоновский для этого дела, наверное. :)

UPDATE: Дописал полный код. Вроде работает, хотя местами надо подкручивать под сложные случаи, видимо. Немного пришлось отклониться от первоначального плана. В частности пришлось ввести порог разности метрики, после которого можно переключаться. Иначе сомнительные слова вроде "вуглускр" норовят переключиться на английскую раскладку почём зря.

import json
import requests
import pandas as pd

def calc_text_naturality(text, freq):
    save_text = text
    text = text.lower()
    metric = [freq.get(a+b, 0.2) for a, b in zip(text, text[1:]) if a.isalpha() and b.isalpha()]
    return ((sum(metric) / len(metric)) ** 0.5, save_text)

def translate_text(text, dict_):
    return ''.join(dict_.get(x, x) for x in text)

def find_lang(text, threshold = 0.333):
    trans_eng = translate_text(text, rus2eng)
    trans_rus = translate_text(text, eng2rus)
    scores = (calc_text_naturality(text, freq_eng),
              calc_text_naturality(text, freq_rus),
              calc_text_naturality(trans_eng, freq_eng),
              calc_text_naturality(trans_eng, freq_rus),
              calc_text_naturality(trans_rus, freq_eng),
              calc_text_naturality(trans_rus, freq_rus))
    #print(scores)
    max_score = max(scores)
    orig_score = max(scores[:2])
    return max_score[1] if(max_score[0] - threshold > orig_score[0]) else text

rus_key = "йцукенгшщзхъфывапролджэячсмитьбюЙЦУКЕНГШЩЗХЪФЫВАПРОЛДЖЭЯЧСМИТЬБЮ"
eng_key = "qwertyuiop[]asdfghjkl;'zxcvbnm,.QWERTYUIOP[]ASDFGHJKL;'ZXCVBNM,."
rus2eng = dict(zip(rus_key, eng_key))
eng2rus = dict(zip(eng_key, rus_key))

# русские биграммы
url_ru = 'https://docs.google.com/spreadsheets/d/1RRf5NIF1d0k9VonrByQXfUGu3tO41rYFu6gmg75IlSg/edit#gid=0'
df = pd.read_html(url_ru, index_col=0, encoding='UTF-8')[0]
df = df.iloc[:,:2]
df['C'] = df['B'] * len(df['B']) / df['B'].sum()
df.to_csv('ru_freq_2.csv', index=False)
freq_rus = dict(df[['A','C']].values)

# английские биграммы
url_en = 'https://gist.githubusercontent.com/lydell/c439049abac2c9226e53/raw/4cfe39fd90d6ad25c4e683b6371009f574e1177f/bigrams.json'
df = pd.DataFrame(json.loads(requests.get(url_en).text), columns=['A','B'])
#print(df.shape)
df = df.sort_values('B', ascending=False)[:100]
df['C'] = df['B'] * len(df['B']) / df['B'].sum()
df.to_csv('ru_freq_2.csv', index=False)
freq_eng = dict(df[['A','C']].values)

corpus = [
    'Привет!',
    'ты кто такой вообще',
    'руддщ!', # hello
    'финтифлюшка',
    'вуглускр',
    'кандибобер',
    'Владимир',
    'Какое-то длинное длинное предложение из нормальных слов',
    'hello',
    'ghbdtn', # привет
    'цудсщьу ещ Ьщысщц', # welcome to Moscow
    'тыщ тыщ тыдыщ',
    'omg',
    'lorem ipsum',
    'хрен знает что такое'
]
for text in corpus:
    print(f'{text} -> {find_lang(text)}')

Вывод:

Привет! -> Привет!
ты кто такой вообще -> ты кто такой вообще
руддщ! -> hello!
финтифлюшка -> финтифлюшка
вуглускр -> вуглускр
кандибобер -> кандибобер
Владимир -> Владимир
Какое-то длинное длинное предложение из нормальных слов -> Какое-то длинное длинное предложение из нормальных слов
hello -> hello
ghbdtn -> привет
цудсщьу ещ Ьщысщц -> welcome to Moscow
тыщ тыщ тыдыщ -> тыщ тыщ тыдыщ
omg -> omg
lorem ipsum -> lorem ipsum
хрен знает что такое -> хрен знает что такое
4
  • круто, спасибо!
    – gneg
    26 окт 2021 в 10:53
  • 1
    @gneg Дописал полный код, если что.
    – CrazyElf
    26 окт 2021 в 11:56
  • 2
    Может в модуль запаковать? Вы реально - Эльф безбашенный, в хорошем смысле=)
    – Dmitry
    26 окт 2021 в 12:07
  • @Dmitry Надо разобраться, как это делать ещё. Наверняка тут где-то написано на сайте в ответах, надо поискать )
    – CrazyElf
    26 окт 2021 в 12:15

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.