6

Занимаюсь разработкой и поддержкой движка на Laravel для сервиса партнерских программ. Текущий трафик, который идёт на сервер порядка 30 миллионов посещений в сутки. К базе постоянно идёт ~1500 запросов в секунду. Это нормально и сервер с этим справляется отлично, но как только количество запросов возрастает до 6000 в секунду, сервер начинает откровенно подвисать.

В связи со сложившейся ситуацией возник вопрос, а как вообще можно разгрузить базу? СУБД MySQL, таблицы на InnoDB. Движок написан на Laravel.

Вообще количество запросов сократить не получается, т.к. фиксируется каждое посещение и посетитель закрепляется за партнёром. При этом все данные пишутся в БД, но сначала извлекаются и проверяются по некоторым параметрам.

Таблицы проиндексированы. Также используется CloudFlare.

7
  • Эм.. кэшировать? + реплики на других серверах для селектов
    – Lexx918
    Commented 29 янв. 2018 в 11:51
  • 2
    Мы не можем ответить на вопрос "как прооптимизировать нагрузку", если вы ничего не сообщаете о характере этой нагрузки. Можно только дать общие рекомендации типа "уменьшить количество джойнов" и "разнести разную нагрузку на разные сервера".
    – etki
    Commented 29 янв. 2018 в 11:51
  • А что за сервер у вас ? мне кажется что с 30 млн в сутки-- это надо переходить на дедик
    – Арсен
    Commented 29 янв. 2018 в 11:51
  • Дедик, Dual Xeon X5650 / 32Gb RAM / 2x1TB 7.2K HDD + 128GB SSD Commented 29 янв. 2018 в 11:56
  • 1
    Видимо часть нагрузки на БД надо переносить на какой нибудь кеш. memcached или что то другое, смотря что больше к задаче подходит. Что касается запросов, надо рассматривать каждый в отдельности и думать нельзя ли его как то оптимизировать, совместить с другими операциями
    – Mike
    Commented 29 янв. 2018 в 13:22

1 ответ 1

2

В плане железа использовать горизонтальное или вертикальное масштабирование. Но в вашем случае конечно лучше использовать горизонтальное, в реализации сложнее - но потом проще масштабировать.

В плане кода:

  • Если у вас много JOIN в запросах. Опишу на примере: Есть таблица leads, и вспомогательные leads_attrs, leads_params, leads_times и т.д. Многие создают метод получения лидов сразу со всеми параметрами и далее используют его по всему проекту. Но можно пересмотреть все места использования и проверить, везде ли требуется подключение всех вспомогательных таблиц leads_attrs, leads_params, leads_times?
  • Количество выгружаемых данных по запросам. Если есть к примеру таблица users, в которой присутствует 25 полей. Обычным SELECT * FROM users WHERE 1 вы будете получать огромное количество данных. В таких местах требуется проверить, все ли данные требуются? Обычно требуется 3-5 параметров, остальные тянутся тяжелой ношей.
  • И самое главное кеширование. В PHP фреймворках реализовано хорошее кеширование из коробки, его стоит использовать. Только в случае с кешированием главное не "переборщить". Требуется кешировать общие данные, которые чаще всего повторяются. Пример: на сайте есть таблица городов, которая каждый раз выгружается из базы, весь список городов лучше закешировать и каждый раз брать из кеша - нежели на каждой странице дёргать sql.

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.