2

Есть проект внутри компании (на Laravel 5.6(если это важно), который выполняет функцию логирования, при 500 тысячах записей подгрузка старых записей при пагинации становится невозможно долгой. Какие пути оптимизации можно сделать? Я создал поле, где пишу id проекта, год и мес и индексирую это поле, то все равно для 1 проекта может набраться очень много логов, думал партиционированировать, но по какому признаку? опять же по месяцам? тогда прироста все равно не будет на данном этапе, т.к. логируется 1 проект. шардировать - можно конечно, но врят-ли компания еще сервера будет арендовать (компания небольшая). Какой может быть выход в этой ситуации?

1

1 ответ 1

2

Нужно добавить индекс на поле milliseconds и все условия выборки делать на основании этого поля.

Например, чтобы выбрать записи за август месяц, делаем запрос

SELECT * FORM logs WHERE milliseconds < :start ORDER BY milliseconds LIMIT 20;

Первый раз в :start передаем временную метку в миллисекундах

$d = DateTime("2018-09-01"); 
$start = $d->format('U')  . $d->format('v');

Чтобы отобразить вторую страницу, нужно запомнить значение milliseconds в последнее записи на первой странице. Пагинация при этом получится не "стандартная", а только с возможностью перейти на следующую страницу.

Зато все это будет работать шустро и не нагружать БД почти никак.

10
  • Не совсем понял насчет миллисекунд, в этом поле хранятся просто миллисекунды от времени на момент записи) Laravel не особо хочет писать в поле created_at миллисекунды, по этому я вывел их в отдельное поле. (они несут чисто информационный характер) 5 сен 2018 в 11:38
  • @RuslanMirzapulatov Unix Timestamp в миллисекундах? 5 сен 2018 в 11:46
  • @RuslanMirzapulatov можно было б использовать поле created_at, но есть вероятность что произойдет 2 и больше записи в одну секунду. Поэтому я предположил, что в поле milliseconds пишется Unix Timestamp в миллисекундах. 5 сен 2018 в 11:49
  • Можно было, но фишка в том, что потом фреймворк не дает изъять миллисекунды, и при выборке отдает их без миллисекунд)) 5 сен 2018 в 11:55
  • 1
    @Ruslan Mirzapulatov тут все про одно решение говорят: добавить в БД ключ на дату записи, и делать пейджер по датам: а не по страницам. Тогда будет быстро работать. Можно заморочиться, и сделать пейджер по страницам с ключом: но при этом необходимо будет добавлять скрипт индексации страниц в планировщик - делать более сложную систему с кешами вне БД. 5 сен 2018 в 12:31

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.