1

Ребята, вот в чем суть, есть таблица пользователей на несколько миллионов user так же есть таблица orders и users_to_orders

SELECT total FROM users LEFT JOIN users_to_orders ON users.id = users_to_orders.id_user LEFT JOIN ordersON users_to_orders.id_orders = orders.id GROUP BY firstname DESC LIMIT 0,500

запрос выполняется миллионы лет тип таблиц "MyISAM", так же стоят все индексы, как максимально сократить время выборки результата и выбрать 10 пользователей с максимальным суммарным тоталом?

в таблице users и orders индекс это id в таблице users_to_orders индексы id_orders и id_user

3
  • 1
    группировку по id делать + кеширование + InnoDB 13 апр 2017 в 18:41
  • опишите все индексы в вопросе, которые у вас есть, а то "стоят все" как-то не поможет делу 13 апр 2017 в 18:44
  • Могли бы Вы описать как сделать группировку и кеширование, разве InnoDB поможет, т.е. сделать связи?
    – Sh1za
    13 апр 2017 в 18:49

2 ответа 2

1
  1. Нужно делать группировку по индексу. Численному. Все строки плохо индексируются B+-деревьями, по определению.

    SELECT * FROM ( SELECT U.id as user_id, count(O.id) as total FROM users AS U LEFT JOIN users_to_orders AS UO ON U.id = UO.id_user LEFT JOIN orders AS O ON UO.id_orders = O.id GROUP BY U.id DESC ) AS P1 INNER JOIN users AS P2 ON P1.user_id = P2.id ORDER BY P1.total DESC LIMIT 0, 500;

  2. Нужно кеширование делать. Вам нужны 500 результатов - обновляйте их раз в N секунд. Например, может помочь временная таблица aka materialized view (да, их можно эмулировать по триггеру).

  3. InnoDb. Тут все просто.

8
  • #1054 - Неизвестный столбец 'u.user_id' в 'field list' вот такую ошибку получил
    – Sh1za
    13 апр 2017 в 19:01
  • Поправил, но дальше концепт должен быть понятен. Правьте по вашему усмотрению. 13 апр 2017 в 19:02
  • Если честно то не очень понятен о5 получилась ошибка #1054 - Неизвестный столбец 'P2.user_id' в 'on clause'
    – Sh1za
    13 апр 2017 в 19:11
  • Обновил, но без явно указанной схемы не просто запросы писать. 13 апр 2017 в 19:25
  • Спасибо но запрос все равно 164.9748 сек. и как пользователей с максимальным суммарным тоталом?
    – Sh1za
    13 апр 2017 в 19:32
0

Вам надо сначала убедиться, что узкое место именно в DB. У меня тоже в одном проекте есть до 1 млн записей, но работает весьма шустро.

Есть подозрение, что дело не таблицах. Вам надо натыкать везде логи, и найти узкое место - где больше всех задержка.

Если окажется, что проблема в таблицах.

1) Одно из самое главных используем InnoDb. MyISAM намного медленнее, там даже блокировка на уровне таблиц, а не строк.

2) Все таблицы необходимо привести к 3-ей нормальной форме. Чтобы поиск был исключительно по цифрам (они быстрее обрабатываются чем строки).

3) Скорее всего миллион записей тоже можно разбить на определенные кластеры. Если да, лучше сделать больше табличек меньшего размера.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.