1

В БД хранится n-е количество записей, содержащие, помимо прочего, ФИО клиентов - как одним полей, так и отдельные под каждую часть - фамилия, имя и отчество. Задача найти клиенты-дубликаты, при этом возможны опечатки в 1-2 буквах ФИО, такие ситуации расценивать нужно как дубликаты. В структуре БД для поля с ФИО есть, само собой, unique key.

Я так понимаю, нужно брать первую запись, просматривать регулярным выражением записи со 2-й по n, затем 2-ю с 3-й по N и т.д.

Проблема в гипотетическом регулярном выражении. :)
Гугление ничего не дало. Существуют ли готовые рецепты такого РВ?

1
  • Для начала нужно дать точное определение "опечатке" в вашем случае. Гугление, странно, что ничего не дало, есть алгоритмы поиска с заданной погрешностью, которые повсеместно используются в частности в поисковиках. Регуляркой это не решить
    – Isaev
    4 фев 2015 в 8:16

2 ответа 2

3

regex модуль допускает приблизительное сравнение с тремя типами ошибок:

1) вставка; 2) удаление; 3) замена.

Например, чтобы определить, совпадает ли данное имя с точностью до двух ошибок с заданным списком:

>>> import regex
>>> match = regex.compile(r'(?e)\L<names>{e<=2}', names=['Иванов', 'Петров']).fullmatch
>>> match('Иванов')  # точное совпадение
<regex.Match object; span=(0, 6), match='Иванов'>
>>> match('Иванв')   # одно удаление
<regex.Match object; span=(0, 5), match='Иванв', fuzzy_counts=(0, 0, 1)>
>>> match('Ивав')    # два удаления                          
<regex.Match object; span=(0, 4), match='Ивав', fuzzy_counts=(0, 0, 2)>
>>> match('Ивв')     # нет совпадения (больше двух ошибок)
>>> match('Петрова') # одна вставка
<regex.Match object; span=(0, 7), match='Петрова', fuzzy_counts=(0, 1, 0)>
>>> match('Сидоров') # нет совпадения

Подобное использование регулярных выражений для проверки правописания не является эффективным (хотя если кол-во записей небольшое и проверку нужно провести только один раз, то можно и этот способ использовать).

Рекомендуемым чтением является статья Питера Норвига How to Write a Spelling Corrector (ссылка на русский перевод в конце статьи), которая содержит реализацию простого алгоритма проверки правописания в 21 строк Питона и ссылки на статьи, описывающие более эффективные алгоритмы.

Чтобы найти клиенты-дубликаты можно поискать готовые Питон модули проверки правописания, если приведённые выше методы не являются достаточно эффективными.

1
  • 1
    @jfs, большое спасибо за ссылку на How to Write a Spelling Corrector. Прочел с удовольствием.
    – avp
    5 фев 2015 в 19:07
3

Регулярки вряд ли такое могут сделать. Это не их работа.

Поэтому нужно будет писать цикл в цикле, который будет попарно сравнивать и оценивать "на опечатки". Для сравнения есть готовые методики, к примеру Расстояние Левенштейна.

Я так понимаю, что данное действие будет "одноразовым", поэтому выполнится оно за 10 минут или за час - не принципиально (то есть сильно оптимизировать не нужно). Но если размер базы достаточно большой, то тут нужно делать оптимизации. Первое, что я бы делал, это пробежался по именам. Их разновидности сильно ограничены и опечатки легко исправить. Точно также и с отчествами. А потом использовал имена как способ "сгруппировать" людей и просматривал каждую группу. Скорее всего, в каждой группе будет не очень много людей. (Доказательство - всего мужских и женских русских/украинских имен не так много, около 900 мужских и 1000 женских. Да, широко употребимых около 30-40. Поэтому, комбинация имя+отчество как минимум разделит на 1000 групп.)

Но тут не нужно забывать об одной заковырке. Не у всех имена написаны правильно. К примеру, я знаю девочку, чье имя пишется "Софья", но обычно употребляется форма "София". Или, к примеру, в Украине есть "Вячеслав" и "В’ячеслав" (разница в апострофе). Одному моему знакомому вот такая опечатка в отчестве стоила нескольких лет судебных разборок (его спутали с другим человеком, у которого такое же ФИО, только в отчестве не было апострофа).

Также нужно не забывать, что есть много людей с абсолютно одинаковыми ФИО. И это разные люди! Поэтому, думаю, правильно будет смотреть в дату рождения (если она есть). И если дата совпадает, тогда принимать решение о дубликате.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.