1

Хочу реализовать функцию проверки, в которую передается строка и далее эта строка сверяется с шаблонами из базы данных пока не будет найден подходящий или false если вообще ничего не найдено

Шаблон строки - это что-то типа regex но более упрощенно. Например:

  • "[Привет,Хеллоу,Добрый день,Здарова]" - это все слова которые могут быть в входных данных, примеры:

    1. Входная строка: "Здарова" - true
    2. Входная строка: "Привет" - true
    3. Входная строка: "Пока" - false
  • * - любое кол-во символов, шаблон: [Привет,Хеллоу,Добрый день,Здарова], * [дела,жизнь,здоровье,семья]?

    1. Входная строка: "Здарова, как ты?" - false
    2. Входная строка: "Привет, как там твои дела?" - true
    3. Входная строка: "Добрый день, как ваше здоровье?" - true
  • [:param] - задаваемый параметр, шаблон [Привет,Здарова], я [:name]" Входная строка: "Привет, я Человек" - функция возвращает json {name: "Человек"}

  • ~ слово с произвольным окончанием, шаблон: [Прив~]

    1. Входная строка: "Прувет" - false
    2. Входная строка: "Привет" - true
    3. Входная строка: "Привот" - true
    4. Входная строка: "Прива" - true
    5. Входная строка: "Привандр" - true

Дальше там еще много чего хотелось бы добавить, но для начала хотя-бы что-то из этого реализовать.

Для реализации я решил использовать полнотекстовый поиск, но так как я в базе не храню больших данных, а в основном записи базы данных будут строки шаблонов для проверки, я изменил немного подход:

  1. Есть база данных в которой хранятся все шаблоны в виде: {id: 1: template: '......'}
  2. Есть другая база где хранятся все слова из шаблона и id шаблонов где они встечаются: {id:1, word: 'hello', id_temp: '1|5|16|23|43'}

При добавлении шаблона в базу данных я удаляю все лишние символы и разбиваю строку на слова и получаю массив строк:

str = "[[Hello,Hi,Hey, Good day, Good Morning]] * [$[how are]$] [$[you]$]?"
str = str\
        .lower()\
        .replace('[[', ' ')\
        .replace(']]', ' ')\
        .replace('[$[', ' ')\
        .replace(']$]', ' ')\
        .replace(',', ' ')\
        .replace('*', ' ');

while '  ' in str:
    str = str.replace('  ', ' ')

print(str) #hello, hi, hey, good, day, good, morning, how, are, you

Далее идет добавление слов в базу, тут происходит проверка нет ли в базе уже каких-то слов. Если есть, то в поле {id_temp: '...|id_new_temp'} добавляю id нового шаблона, иначе добавляю само слово и id нового шаблона:

from tests.models import Words


def writeWord(word_to_write, temp_id):
    newWord = Words(word=word_to_write, temp_id=temp_id)
    newWord.save()


def findWord(word_to_find, new_temp_id):
    w = Words.select().where(Words.word == word_to_find)
    if w:
        print(w)
    else:
        writeWord(word_to_find, new_temp_id)


id = 2
str = 'Hello my friend'
word = str.lower().split(' ')

for s in word:
    findWord(s, id)

Используется peewee

Процесс добавления шаблона на этом заканчивается. Далее, поиск строки в базе шаблонов, кода еще нет, но алгоритм не сложный:

  1. Получаю строку, разбиваю на слова и получаю массив строк
  2. Ищу каждое слово в базе слов, из найденных записей беру поле id_temp и тоже разбиваю и записываю в словарь: {'id': count}
  3. В дальнейшем при добавлении в словарь новых id проверяется нет ли такого id там, если есть, то увеличивается count, иначе добавляется запись в словарь с count=1
  4. После того, как по всем словам было произведено поиск по базе, я беру словарь и ищу запись с самым большим значением count это и будет id шаблона, который вероятнее всего подойдет для входной строки.

Вопрос был такой: нет ли какого-нибудь определенного подхода для решения данной задачи или как оптимизировать алгоритм велосипеда, который я тут собрал. Например, если одно слово будет встречаться в 2000 шаблонах, то запись этого слова в базе будет громоздким {id: 35, word: 'hello', 'id_temp': '1|2|3|523|2323|32|123|124|345|234|133|234|123|234|123|42|545......'} - как это можно оптимизировать?

2
  • В чем проблема? Покажите код. 2 мая 2018 в 6:57
  • @DmitryErohin проблема в подходе и наиболее оптимальном способе реализации. Дополнил вопрос.
    – elossa
    3 мая 2018 в 5:14

0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Посмотрите другие вопросы с метками или задайте свой вопрос.