2

Для полнофункциональной (с поиском, сортировкой, пагинацией) реализации ajax для JQuery Datatbles требуется в JSON отправлять не только текущую порцию данных, но и recordsTotal (всего в таблице) и recordsFiltered (всего без учета "пагинации"). Реализовал тремя запросами и все работает, но очень медленно, где-то секунд 30 думает. Хочу собрать все данные в одном запросе. Сразу оговорюсь, опыта большого с ораклом не имею, вполне возможно, что мои решения сильно не оптимальны. Кроме того, проект сугубо внутренний, поэтому опасностью SQL инжекций можно пренебречь, что я и сделал. Сначала попробовал в лоб решить, ну да не учел сразу две вещи:

$add_like = empty($search) ? "" : "WHERE table_name LIKE '%{$search}%' ";
$query = "SELECT table_name, total, filtered 
            FROM 
            ( SELECT table_name, total, count(table_name) filtered  
              FROM 
              ( SELECT table_name, count(table_name) total  
                FROM all_lists 
                WHERE table_name NOT LIKE 'BIN$%' 
                    AND table_name NOT LIKE 'SYS_%' 
                    AND table_name Not LIKE '%_REP'
                    AND table_name Not LIKE '%_REP_QT'                        
              ){$add_like}
              ORDER BY table_name {$order}
            ) WHERE ROWNUM >= {$from} AND ROWNUM < {$to}";

Так вот, первое что не учел, это что что count захочет группировку, которая мне ну абсолютно не нужна, у меня единственное поле данных, остальное счетчики. Пробовал count заменить на max(ROWNUM), все равно тоже самое. С другой стороны не хотелось бы три запроса, даже в одном (типа union). Так и так выборка делается, из нее бы только количество (два) забрать по-ходу дела.

Используется Oracle 12c база данных из PHP через oci8 и собственную надстройку.

Есть ли какие-то способы решения?

Спасибо @Mike и @Sergey Moiseenko подсказали про over(). Вот мое решение, оно отработало чуть больше 5 секунд. Что вполне приемлемо.

$to = $from + $count;
$add_like = empty($search) ? "" : "WHERE table_name LIKE '%{$search}%' ";
$query = "SELECT table_name, total, filtered 
          FROM 
          ( SELECT ROWNUM as rn, table_name, total, count(1) over() AS filtered  
            FROM 
            ( SELECT table_name, count(1) over() AS total  
              FROM all_lists 
              WHERE table_name NOT LIKE 'BIN$%' 
                AND table_name NOT LIKE 'SYS_%' 
                AND table_name Not LIKE '%_REP'
                AND table_name Not LIKE '%_REP_QT'                        
            ){$add_like}
            ORDER BY table_name {$order}
          ) WHERE rn >= {$from} AND rn < {$to}";

P.S. Как правильно отметил Mike, тот вариант не мог работать. Просто между правкой и проверкой в коде, и постом сюда, был "потерян" правильный вариант. И сюда попал предпоследний c ROWNUM-ами во внешнем SELECTе. Я не стал еще больше увеличивать ответ, и просто исправил "правильный" код на работающий. ;)

3
  • Интересно, как это запрос у вас работать умудряется. Если по условию не включающему в себя rownum=1 oracle вернет пустой набор. надо переименовывать rownum и на следующем слое только накладывать условие. или использовать FETCH FIRST n ROWS ONLY раз у вас 12 версия которая его поддерживает.
    – Mike
    26 авг 2017 в 8:19
  • В вашем итоговом варианте total и filtered совпадают, потому что на уровне со вторым count() нет условия where.
    – Mike
    26 авг 2017 в 9:04
  • WHERE будет в {$add_like} (см. выше, перед запросом), да и спасибо за разъяснение с count(1), поправил в итоговом варианте. здесь уже не стал
    – EugenOS
    26 авг 2017 в 9:16

2 ответа 2

3

Если сейчас 3 запроса работают 30 секунд, значит у вас в таблице уже много записей. Когда вы соберете это в один запрос сомневаюсь, что вы получите менее менее 15 секунд, что то же очень плохо. Предлагаю как минимум кешировать общее количество записей в таблице в отдельной таблице из 1 строки. Вести его автоматически на вставку/удаление из основной таблице, что бы не пересчитывать при каждой выборке.

Запрос же на получение нужной части выборки и при этом общего количества записей, подпадающих под условия будет выглядеть примерно так:

  SELECT table_name, filtered_count
    FROM (
       SELECT table_name,
              count(1) over() filtered_count,
              row_number() over(ORDER BY table_name {$order}) RN
         FROM all_lists 
        WHERE table_name NOT LIKE 'BIN$%' 
          AND table_name NOT LIKE 'SYS_%' 
          AND table_name Not LIKE '%_REP'
          AND table_name Not LIKE '%_REP_QT'
    ) X
   WHERE RN >= {$from} AND RN < {$to}

count(1) over() даст в каждой строке результата общее количество строк в выборке. Обратите внимание, count(1) обычно работает несколько быстрее, чем count(имя-колонки) потому как ему не надо проверять значение в скобках на NULL и его стоит использовать всегда, кроме случаев, когда надо получить количество именно NOT NULL значений колонки. row_number() over(order by ...), в отличие от rownum, позволяет сразу получить нумерацию в нужном порядке записей без использования дополнительного уровня вложенности в запросе.

Что касается оптимизации по скорости, скорее всего надо полностью пересматривать подход, потому что условия like '%...' по индексам не могут работать в принципе и дадут полный перебор таблицы. А полный перебор надо исключить. Тут надо рассмотреть всю задачу в комплексе, продумать как будет осуществляться поиск по каждому из возможных атрибутов, попробовать, посмотреть планы выполнения (по explain plan)

P.S. Для 12 версии оракла, вместо использования row_number и внешнего слоя отбора записей по номерам можно использовать конструкцию:

SELECT ...
  FROM ... WHERE ...
 ORDER BY ...
 OFFSET {from} ROWS FETCH NEXT количество ROWS ONLY
2
  • Спасибо, я в вопросе поместил свой ответ. Он отработал 5-6 секунд где-то. Что очень приемлемо.
    – EugenOS
    26 авг 2017 в 9:05
  • @EugenOS Рекомендую посмотреть explain plan по запросу, если там full scan, то эти 5 секунд с ростом количества записей в таблице со временем могут привести к сильному проседанию скорости. У меня как то был один небольшой запросик, который отлично работал 2 года, но как только размер таблицы превысил объем кеша БД нагрузка на диски при его выполнении выросла в 5 раз и вся система стала дико тормозить.
    – Mike
    26 авг 2017 в 9:09
0

Ну во-первых для пагинации нужнен только номер страницы(следующей или текущей - не важно). А второе, ваш запрос чрезмерно не оправдан Вашей задачей. Пример запроса для пагинации (вывод по 10 элементов) на MySQL:

"SELECT * FROM pages ORDER BY publishedAt DESC LIMIT 10 OFFSET {$page_num*10};"

Узнать общее кол-во найденных строк:

"SELECT FOUND_ROWS();"

Пример на Oracle:

"SELECT * FROM (SELECT a.*, rownum rnum FROM (pages) a where rownum <= $max_row) WHERE rnum >= $min_row";

11
  • там приходят два параметра start и length, размер страницы меняется. кроме того приходит порядок сортировки, строка поиска (фильтрации)...основное что нужно это не просто пагинация, а пагинация с поиском. И требуется передать количество всего и количество фильтрованых всего. Т.е. мне эти значения нужно получить
    – EugenOS
    26 авг 2017 в 7:34
  • но про offset и limit спасибо, посмотрю
    – EugenOS
    26 авг 2017 в 7:36
  • start - это и есть page_num в моем примере. А число 10 замените на length.
    – Lapapa
    26 авг 2017 в 7:39
  • это все хорошо. но я хочу получить еще счетчики. в этом запросе. это основной вопрос.
    – EugenOS
    26 авг 2017 в 7:40
  • 1
    Там, где вам нужно общее число строк, используйте count(*) over() вместо count. 26 авг 2017 в 8:29

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.