2

Есть проект внутри компании (на Laravel 5.6(если это важно), который выполняет функцию логирования, при 500 тысячах записей подгрузка старых записей при пагинации становится невозможно долгой. Какие пути оптимизации можно сделать? Я создал поле, где пишу id проекта, год и мес и индексирую это поле, то все равно для 1 проекта может набраться очень много логов, думал партиционированировать, но по какому признаку? опять же по месяцам? тогда прироста все равно не будет на данном этапе, т.к. логируется 1 проект. шардировать - можно конечно, но врят-ли компания еще сервера будет арендовать (компания небольшая). Какой может быть выход в этой ситуации?

1

1 ответ 1

2

Нужно добавить индекс на поле milliseconds и все условия выборки делать на основании этого поля.

Например, чтобы выбрать записи за август месяц, делаем запрос

SELECT * FORM logs WHERE milliseconds < :start ORDER BY milliseconds LIMIT 20;

Первый раз в :start передаем временную метку в миллисекундах

$d = DateTime("2018-09-01"); 
$start = $d->format('U')  . $d->format('v');

Чтобы отобразить вторую страницу, нужно запомнить значение milliseconds в последнее записи на первой странице. Пагинация при этом получится не "стандартная", а только с возможностью перейти на следующую страницу.

Зато все это будет работать шустро и не нагружать БД почти никак.

10
  • Не совсем понял насчет миллисекунд, в этом поле хранятся просто миллисекунды от времени на момент записи) Laravel не особо хочет писать в поле created_at миллисекунды, по этому я вывел их в отдельное поле. (они несут чисто информационный характер) 5 сен 2018 в 11:38
  • @RuslanMirzapulatov Unix Timestamp в миллисекундах? 5 сен 2018 в 11:46
  • @RuslanMirzapulatov можно было б использовать поле created_at, но есть вероятность что произойдет 2 и больше записи в одну секунду. Поэтому я предположил, что в поле milliseconds пишется Unix Timestamp в миллисекундах. 5 сен 2018 в 11:49
  • Можно было, но фишка в том, что потом фреймворк не дает изъять миллисекунды, и при выборке отдает их без миллисекунд)) 5 сен 2018 в 11:55
  • 1
    @Ruslan Mirzapulatov тут все про одно решение говорят: добавить в БД ключ на дату записи, и делать пейджер по датам: а не по страницам. Тогда будет быстро работать. Можно заморочиться, и сделать пейджер по страницам с ключом: но при этом необходимо будет добавлять скрипт индексации страниц в планировщик - делать более сложную систему с кешами вне БД. 5 сен 2018 в 12:31

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.