2

Есть всем известная проблема про большие таблицы и тормоза конструкции LIMIT на последних страницах пагинации. Например если у нас есть таблица с записями более 500 000 уже начинают ощущаться эти тормоза. Имеется ли готовое решение в виде класса пагинатора например для избавления от этой проблемы? Если перейти на postgresql там такая же проблема?

10
  • Вот замечательная статья на тему пагинации , к сожалению не переведена на русский язык
    – Dmitry V.
    21 ноя 2015 в 18:17
  • А так, без разницы, что mysql, что postgres, для того чтобы отступить N строк должны отсортировать таблицу и посчитать. Вырезка из документации postgresql : The rows skipped by an OFFSET clause still have to be computed inside the server; therefore a large OFFSET might be inefficient.
    – Dmitry V.
    21 ноя 2015 в 18:23
  • 2
    1) вам очень редко надо показывать действительно все страницы поиска, посмотрите тот же гугл - он через несколько десятков страниц скажет, что ничего больше не найдено; 2) можно немного оптимизировать пагинацию: запоминать не столько смещение, сколько последние найденные значения. Например, сортировка идет по id, вместо вывода страницы 100000 вы ищите where id > XXX limit 50, где XXX - последний id из прошлой выборки. Тогда выборка будет намного быстрее, т.к. вам не надо искать 100000 записей до текущей. Но это нормально будет работать, только при поиске по индексу
    – BOPOH
    21 ноя 2015 в 18:30
  • 2
    3) можно показывать примерное количество страниц, а не точное: получить через explain план выполнения запроса и подсчитать сколько примерно будет страниц. Косяки будут заметны, когда в реальности будет мало записей, а explain покажет много. Хотя те же поисковые системы делают так же, наблюдал такое у яндекса (показывал страниц 10, а выдавал всего 3) 4) и всегда можно сказать: блин, вы пока листали реальная картина изменилась, поэтому такие результаты и получились. Т.е. если пользователь перешел на 100 страницу, то необязательно показывать именно 100 страницу, можно показать "примерно 100" ))
    – BOPOH
    21 ноя 2015 в 18:34
  • 1
    А причем тут вообще php. Это понятная проблема БД и ее можно решить только на уровне БД модифицируя запросы, а это боюсь придется делать под конкретный случай, смотря какие там данные. Со стороны php можно конечно предположить кеширование некоторых последующих данных, идущих после запрошенного куска. но тут еще непонятно что дороже, выбирать как сейчас или кешировать то, что в 95% не понадобится
    – Mike
    21 ноя 2015 в 19:05

1 ответ 1

1

Ответ из комментариев от ВОРОН

1) вам очень редко надо показывать действительно все страницы поиска, посмотрите тот же гугл - он через несколько десятков страниц скажет, что ничего больше не найдено;

2) можно немного оптимизировать пагинацию: запоминать не столько смещение, сколько последние найденные значения. Например, сортировка идет по id, вместо вывода страницы 100000 вы ищите where id > XXX limit 50, где XXX - последний id из прошлой выборки. Тогда выборка будет намного быстрее, т.к. вам не надо искать 100000 записей до текущей. Но это нормально будет работать, только при поиске по индексу.

3) можно показывать примерное количество страниц, а не точное: получить через explain план выполнения запроса и подсчитать сколько примерно будет страниц. Косяки будут заметны, когда в реальности будет мало записей, а explain покажет много. Хотя те же поисковые системы делают так же, наблюдал такое у яндекса (показывал страниц 10, а выдавал всего 3) 4) и всегда можно сказать: блин, вы пока листали реальная картина изменилась, поэтому такие результаты и получились. Т.е. если пользователь перешел на 100 страницу, то необязательно показывать именно 100 страницу, можно показать "примерно 100" ))

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.