1

Есть проект с необходимостью в фильтре поиска. Но у меня не получается сгруппировать фильтры. ;(

Необходимо изменить структуру таблицы или изменять функцию?

[Из кода убраны ограничения(забираю все значения), слишком много кода иначе]

Структура ДБ:

class Promos_values(db.Model):
    id = db.Column('id', db.Integer, autoincrement=True, primary_key=True)
    # ID
    promo_id = db.Column('promo_id', db.Integer, db.ForeignKey('promo.id'))
    # ссылка на ИД Promo
    cat_id = db.Column('cat_id', db.Integer, db.ForeignKey('category.id'))
    # связка с категорией
    proc_id = db.Column('proc_id', db.Integer, db.ForeignKey('process.id'))
    # связка с процессом
    field_id = db.Column('field_id', db.Integer, db.ForeignKey('field.id'))
    # связка с Филд-прототипом
    field_value_id = db.Column('field_value_id', db.Text())
    # значение если тип прототипа Checkboxes|Radio|Select
    value = db.Column('value', db.Text())
    # значение если тип прототипа Text|Textarea и другие

Значения в ДБ

Урлы:

http://example.com/r1/r2/?f=3_4-5.2_3
http://example.com/r1/r2/?f=3_4-5
http://example.com/r1/r2/?f=3_4-5.2_3&pmin=1300000

Сборка запроса:

def apply_active_filters(cat_id,proc_id,limit=40,offset=0):
    base_query = db.session.\
        query(Promos_values).\
        filter(Promos_values.cat_id==cat_id,Promos_values.proc_id==proc_id)
        # базовый запрос
    result_query = db.session.\
        query(Promos_values).\
        filter(Promos_values.cat_id==cat_id,Promos_values.proc_id==proc_id)
        # результативный запрос
    RAW_active_filters = request.args.get('f')
    # получаем фильтры
    pmin = request.args.get('pmin')
    # получаем фильтры цены
    pmax = request.args.get('pmax')
    # получаем фильтры цены
    queries = []
    if RAW_active_filters:
    # если есть фильтры, то
        RAW_active_filters = RAW_active_filters.split('.')
        # делим на группы
        for active in RAW_active_filters:
            raw = active.split('_')
            # превращаем в пары ИД:значения
            af_id = int(raw[0])
            # преобразуем ИД в целое
            af_values = raw[1].split('-')
            # бьем значеия в список
            if len(af_values)>1:
                queries.append( base_query.filter(Promos_values.field_id==af_id, Promos_values.field_value_id.in_(af_values)) )
                # прикрепляем к базовому запросу
            elif len(af_values)==1:
                queries.append( base_query.filter(Promos_values.field_id==af_id, Promos_values.field_value_id==af_values[0]) )
                # прикрепляем к базовому запросу
    if pmin and not pmax:
    # только мин цена
        queries.append( base_query.filter(Promos_values.field_id.in_([3,4]),cast(Promos_values.value, db.Integer)>=int(pmin)) )
    elif pmax and not pmin:
    # только макс цена
        queries.append( base_query.filter(Promos_values.field_id.in_([3,4]),cast(Promos_values.value, db.Integer)<=int(pmax)) )
    elif pmax and pmin:
    # обе цены
        queries.append( base_query.filter(Promos_values.field_id.in_([3,4]),cast(Promos_values.value, db.Integer).between(int(pmin),int(pmax))) )
    for q in queries:
        result_query = result_query.union(q)
        # сливаем в один запрос
    result_query = result_query.offset(offset).limit(limit)
    cq = compile_query(result_query)
    print(cq)
    # принтим запрос с подставленными значениями
    return result_query.all()

Мне необходимо сгруппировать фильтры в пары, что-то навроде этого:

( field_id = 3 with values in ('4', '5') ) && ( field_id = 2 with values in ('3') )

С юнионами выдает месиво из значений.

4
  • А в чем вообще смысл, что это такое? Добавьте чуток описание что вы ищете, чтобы можно было сложить логическую картинуи подумать как должна выглядеть ДБ. Зачем таким адским способом парсить урл, если можно сделать нормальный удобочитаемый http://blabla.com/?filter=first_filter или /?filter=1 13 июн 2017 в 13:01
  • @IgorSergeevich сборка значений базы, в целом система по механике похожа на avito или qp, то есть все почти все элементы - динамически создаваемые, поэтому нет жесткой связки. В целом где можно создать диалог? А то в комментариях неудобно общаться.
    – RedBuld
    13 июн 2017 в 13:46
  • Можно тут чат открыть, можете мне в фб написать, у меня в профиле указан 14 июн 2017 в 7:25
  • @IgorSergeevich выложил код
    – RedBuld
    19 июн 2017 в 12:22

2 ответа 2

0

Из того, что попалось на глаза:

RAW_active_filters = request.args.get('f')  # получаем фильтры
pmin = request.args.get('pmin')  # получаем фильтры цены
pmax = request.args.get('pmax')  # получаем фильтры цены

# опустим проверки и цикл

    raw = active.split('_')  # превращаем в пары ИД:значения
    af_id = int(raw[0])  # преобразуем ИД в целое
    af_values = raw[1].split('-')  # бьем значеия в список

Значения, которые Вы получили - строки, дальнейшие запросы по поиску скорее всего не будут работать, т.к. в базе эти поля числовые, попробуйте привести к int (по крайней мере у меня когда-то были такие ошибки, может я не прав)

У Вас получаются очень сложные урлы, я думаю, что стоит разделить обработку запроса и работу с базой, сделать может больше мелких функций, из которых каждая будет отвечать за определенную область. И хорошенько это дело подебажить.

2
  • Проблему решил к вечеру, чуть позже выложу решение. Тяжеловесное, но тут все расчитано не промежуточный кэш
    – RedBuld
    16 июн 2017 в 19:28
  • Кеш это хорошо, выкладывайте, посмотрим 17 июн 2017 в 7:14
0

Это скорее не группировка, а многоуровневый вложенный запрос, кэш подключается перед сортировка по цене, хранится в редиске

# base_filter_query = 
# первичный фильтр
base_query = db.session.query(Promos_values.promo_id)
# базовый запрос
result_query = db.session.query(Promos_values.promo_id)
# результативный запрос
RAW_active_filters = request.args.get('f')
RES_active_filters = {}
# получаем фильтры
pmin = request.args.get('pmin')
RES_active_filters['pmin'] = pmin
# получаем фильтры цены
pmax = request.args.get('pmax')
RES_active_filters['pmax'] = pmax
# получаем фильтры цены
query_last = db.session.\
    query(Promos_values.promo_id).\
    filter(\
        Promos_values.cat_id==cat_id,\
        Promos_values.proc_id==proc_id,\
        Promos_values.field_id==9,\
        Promos_values.field_id_value=='r'+str(session['region_id'])\
    )#.cte(name='level0')
if RAW_active_filters:
# если есть фильтры, то
    RAW_active_filters = RAW_active_filters.split('.')
    # делим на группы
    for active in RAW_active_filters:
        raw = active.split('_')
        # превращаем в пары ИД:значения
        af_id = int(raw[0])
        # преобразуем ИД в целое
        value_is_range = False
        if raw[1].find('b') != -1:
            af_values = raw[1].split('b')
            value_is_range = True
        else:
            af_values = raw[1].split('-')
        # бьем значеия в список
        RES_active_filters[af_id] = af_values
        # забиваем для рендера фильтров
        if value_is_range == False:
        # значение - не диапазон
            if len(af_values)>1:
                query_last = base_query.filter(Promos_values.field_id==af_id, Promos_values.field_id_value.in_(af_values), Promos_values.promo_id.in_(query_last))#.cte(name='level'+str(cur_level))
                # прикрепляем к базовому запросу
            if len(af_values)==1:
                query_last = base_query.filter(Promos_values.field_id==af_id, Promos_values.field_id_value==af_values[0], Promos_values.promo_id.in_(query_last))#.cte(name='level'+str(cur_level))
                # прикрепляем к базовому запросу
        else:
        # значение - диапазон
            if af_values[1] == '' and not af_values[0] == '':
            # только мин пареметр
                query_last = base_query.filter(Promos_values.field_id==af_id,cast(Promos_values.text_value, db.Integer)>=int(af_values[0]), Promos_values.promo_id.in_(query_last))
            elif not af_values[1] == '' and af_values[0] == '':
            # только макс параметр
                query_last = base_query.filter(Promos_values.field_id==af_id,cast(Promos_values.text_value, db.Integer)<=int(af_values[1]), Promos_values.promo_id.in_(query_last))
            elif not af_values[1] == '' and not af_values[0] == '':
            # оба параметра
                query_last = base_query.filter(Promos_values.field_id==af_id,cast(Promos_values.text_value, db.Integer).between(int(af_values[0]),int(af_values[1])), Promos_values.promo_id.in_(query_last))
if pmin and not pmax:
# только мин цена
    query_last = base_query.filter(Promos_values.field_id.in_([3,4]),cast(Promos_values.text_value, db.Integer)>=int(pmin), Promos_values.promo_id.in_(query_last))
elif pmax and not pmin:
# только макс цена
    query_last = base_query.filter(Promos_values.field_id.in_([3,4]),cast(Promos_values.text_value, db.Integer)<=int(pmax), Promos_values.promo_id.in_(query_last))
elif pmax and pmin:
# обе цены
    query_last = base_query.filter(Promos_values.field_id.in_([3,4]),cast(Promos_values.text_value, db.Integer).between(int(pmin),int(pmax)), Promos_values.promo_id.in_(query_last))
# cq = compile_query(query_last)
# print(cq)
# принтим запрос с подставленными значениями
result = {'ids':query_last.limit(limit).offset(offset).all(),'af':RES_active_filters}
return result

Пример урла:

?f=3_3-4-5-6-7.14_15b35.2_2&pmax=1500000

Пример запроса:

SELECT
    promos_values.promo_id
FROM
    promos_values
WHERE
    promos_values.field_id IN (3, 4) AND CAST ( promos_values.text_value AS INTEGER ) <= 1500000 AND promos_values.promo_id IN (
    SELECT
        promos_values.promo_id AS promos_values_promo_id
    FROM
        promos_values
    WHERE
        promos_values.field_id = 2 AND promos_values.field_id_value = '2' AND promos_values.promo_id IN (
        SELECT
            promos_values.promo_id AS promos_values_promo_id
        FROM
            promos_values
        WHERE
            promos_values.field_id = 3 AND promos_values.field_id_value IN ('4', '5', '6', '7') AND promos_values.promo_id IN (
            SELECT
                promos_values.promo_id AS promos_values_promo_id
            FROM
                promos_values
            WHERE
                promos_values.cat_id = 1 AND promos_values.proc_id = 1 AND promos_values.field_id = 9 AND promos_values.field_id_value = 'r4'
        )
    )
)
6
  • Я думаю у Вас стоит вопрос архитектуры, подобные функции это боль, мне кажется ее стоит разделить на несколько, описать классом и т.п. Какая будет нагрузка? Вы тестили работоспособность? Заполните базу случайными значениями и попробуйте протестить хотябы несколько запросов в секунду. 19 июн 2017 в 12:33
  • @IgorSergeevich, при таблице на 15000 значений, время такой выборки 0.004 секунды
    – RedBuld
    19 июн 2017 в 16:43
  • С функции питона или чистого sql? 20 июн 2017 в 6:03
  • @IgorSergeevich В обоих вариантах, там разница в тысячные секунды, что скорее зависит от загрузки процессора. Если вся страница рендерится с нуля за 0.018-0.023 секунды
    – RedBuld
    20 июн 2017 в 11:26
  • Для меня не ожиданно, у меня были проблемы с менее сложными запросами, правда на mysql и при активных пользователях около 50 запросов в секунду. Ну хорошо что все работает, а вообще большие функции не очень хороши хотябы со стороны удобочитаемости кода 20 июн 2017 в 11:36

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.