Есть всем известная проблема про большие таблицы и тормоза конструкции LIMIT на последних страницах пагинации. Например если у нас есть таблица с записями более 500 000 уже начинают ощущаться эти тормоза. Имеется ли готовое решение в виде класса пагинатора например для избавления от этой проблемы? Если перейти на postgresql там такая же проблема?
1 ответ
Ответ из комментариев от ВОРОН
1) вам очень редко надо показывать действительно все страницы поиска, посмотрите тот же гугл - он через несколько десятков страниц скажет, что ничего больше не найдено;
2) можно немного оптимизировать пагинацию: запоминать не столько смещение, сколько последние найденные значения. Например, сортировка идет по id
, вместо вывода страницы 100000 вы ищите where id > XXX limit 50
, где XXX
- последний id
из прошлой выборки. Тогда выборка будет намного быстрее, т.к. вам не надо искать 100000 записей до текущей. Но это нормально будет работать, только при поиске по индексу.
3) можно показывать примерное количество страниц, а не точное: получить через explain
план выполнения запроса и подсчитать сколько примерно будет страниц. Косяки будут заметны, когда в реальности будет мало записей, а explain
покажет много. Хотя те же поисковые системы делают так же, наблюдал такое у яндекса (показывал страниц 10, а выдавал всего 3) 4) и всегда можно сказать: блин, вы пока листали реальная картина изменилась, поэтому такие результаты и получились. Т.е. если пользователь перешел на 100 страницу, то необязательно показывать именно 100 страницу, можно показать "примерно 100" ))
The rows skipped by an OFFSET clause still have to be computed inside the server; therefore a large OFFSET might be inefficient.
where id > XXX limit 50
, где XXX - последний id из прошлой выборки. Тогда выборка будет намного быстрее, т.к. вам не надо искать 100000 записей до текущей. Но это нормально будет работать, только при поиске по индексу