1

Таблица

CREATE TABLE `aircrafts_in_parsed_info` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `status` enum('success','error') DEFAULT NULL,
  `type` enum('roundtrip','oneway') NOT NULL,
  `date` datetime NOT NULL COMMENT 'Дата парсинга',
  `aircrafts_in_id` int(11) DEFAULT NULL COMMENT 'ID направления',
  PRIMARY KEY (`id`),
  KEY `aircrafts_in_id` (`aircrafts_in_id`)
) ENGINE=InnoDB AUTO_INCREMENT=635635 DEFAULT CHARSET=utf8

Запрос

SELECT 
    (SELECT 
            CONCAT(cf.name, ' - ', cin.name)
        FROM
            aircrafts_in ain
                JOIN
            cities cf ON cf.id = ain.city_from
                JOIN
            cities cin ON cin.id = ain.city_to
        WHERE
            ain.id = pinfo.aircrafts_in_id) direction,
    (SELECT 
            CASE ain.parsing
                    WHEN 1 THEN '+'
                    WHEN 0 THEN '-'
                END
        FROM
            aircrafts_in ain
        WHERE
            ain.id = pinfo.aircrafts_in_id) parser_enabled,
    date AS parsing_start,
    (SELECT 
            MAX(date)
        FROM
            aircrafts_in_parsed_info
        WHERE
            aircrafts_in_id = pinfo.aircrafts_in_id
                AND status = 'success') parsed_data_last_update,
    (SELECT 
            COUNT(*)
        FROM
            aircrafts_in_parsed_info
        WHERE
            aircrafts_in_id = pinfo.aircrafts_in_id
                AND status = 'success'
                AND type = 'oneway'
                AND date > CURDATE()) c_ow_success,
    (SELECT 
            COUNT(*)
        FROM
            aircrafts_in_parsed_info
        WHERE
            aircrafts_in_id = pinfo.aircrafts_in_id
                AND status = 'error'
                AND type = 'oneway'
                AND date > CURDATE()) c_ow_error,
    (SELECT 
            COUNT(*)
        FROM
            aircrafts_in_parsed_info
        WHERE
            aircrafts_in_id = pinfo.aircrafts_in_id
                AND status = 'success'
                AND type = 'roundtrip'
                AND date > CURDATE()) c_rt_success,
    (SELECT 
            COUNT(*)
        FROM
            aircrafts_in_parsed_info
        WHERE
            aircrafts_in_id = pinfo.aircrafts_in_id
                AND status = 'error'
                AND type = 'roundtrip'
                AND date > CURDATE()) c_rt_error
FROM
    aircrafts_in_parsed_info pinfo
WHERE
    pinfo.date > CURDATE()
GROUP BY aircrafts_in_id
ORDER BY date ASC;

Результат Результат

Выполняется 3 секунды, как можно оптимизировать. Запускаться будет по крону раз в день.

2
  • 2
    Раз в день? Три секунды? А смысл?
    – user181100
    18 мая 2016 в 10:12
  • интересно ради опыта
    – klobastov
    18 мая 2016 в 10:13

1 ответ 1

1

За работоспособность запроса не ручаюсь, и тем не менее надеюсь, что он наведет на нужные мысли. Общий посыл — объединить все, что только можно.

Первый шаг на пути к этому: все подзапросы переносятся из блока между SELECT... FROM в блок после FROM — кроме улучшения читаемости кода вы получаете важное преимущество: можно брать несколько полей из подзапроса в результирующий запрос, а не одно, как в исходном запросе.

Прежде всего под объединение просится этот блок:

(SELECT CONCAT(cf.name, ' - ', cin.name)
   FROM aircrafts_in ain
   JOIN cities cf ON cf.id = ain.city_from
   JOIN cities cin ON cin.id = ain.city_to
  WHERE ain.id = pinfo.aircrafts_in_id) direction,
(SELECT CASE ain.parsing
        WHEN 1 THEN '+'
        WHEN 0 THEN '-'
         END
   FROM aircrafts_in ain
  WHERE ain.id = pinfo.aircrafts_in_id) parser_enabled,

— его мы сливаем в один подзапрос:

    SELECT ain.id,
           CONCAT(cf.name, ' - ', cin.name) direction,
           IF(ain.parsing, '+', '-') parser_enabled
      FROM aircrafts_in ain
INNER JOIN cities cf ON cf.id = ain.city_from
INNER JOIN cities cin ON cin.id = ain.city_to

Вместо CASE используем IF — одна строка вместо 4.

Этот блок тоже просится под объединение:

(SELECT COUNT(*)
   FROM aircrafts_in_parsed_info
  WHERE aircrafts_in_id = pinfo.aircrafts_in_id
    AND status = 'success'
    AND type = 'oneway'
    AND date > CURDATE()) c_ow_success,
(SELECT COUNT(*)
   FROM aircrafts_in_parsed_info
  WHERE aircrafts_in_id = pinfo.aircrafts_in_id
    AND status = 'error'
    AND type = 'oneway'
    AND date > CURDATE()) c_ow_error,
(SELECT COUNT(*)
   FROM aircrafts_in_parsed_info
  WHERE aircrafts_in_id = pinfo.aircrafts_in_id
    AND status = 'success'
    AND type = 'roundtrip'
    AND date > CURDATE()) c_rt_success,
(SELECT COUNT(*)
   FROM aircrafts_in_parsed_info
  WHERE aircrafts_in_id = pinfo.aircrafts_in_id
    AND status = 'error'
    AND type = 'roundtrip'
    AND date > CURDATE()) c_rt_error

— здесь нам поможет группировка и сумма двух проверок:

    SELECT aircrafts_in_id
           SUM(IF(status = 'success', IF(type = 'oneway',    1, 0), 0)) c_ow_success,
           SUM(IF(status = 'error',   IF(type = 'oneway',    1, 0), 0)) c_ow_error,
           SUM(IF(status = 'success', IF(type = 'roundtrip', 1, 0), 0)) c_rt_success,
           SUM(IF(status = 'error',   IF(type = 'roundtrip', 1, 0), 0)) c_rt_error
      FROM aircrafts_in_parsed_info
     WHERE `date` > CURDATE()
  GROUP BY aircrafts_in_id,
           status, 
           type

На эти два объединения я бы рекомендовал обратить особое внимание и начать оптимизацию запроса именно с них.

Итог. Есть базовая таблица, к которой мы джойним три подзапроса (они отделены отступами, чтобы визуально выделить блоки).

   SELECT d.direction
          pinfo.`date` AS parsing_start,
          pinfo.aircrafts_in_id
          md.parsed_data_last_update
          c.c_ow_success,
          c.c_ow_error,
          c.c_rt_success,
          c.c_rt_error
     FROM aircrafts_in_parsed_info pinfo

LEFT JOIN (SELECT ain.id,
                  CONCAT(cf.name, ' - ', cin.name) direction,
                  IF(ain.parsing, '+', '-') parser_enabled
             FROM aircrafts_in ain
       INNER JOIN cities cf ON cf.id = ain.city_from
       INNER JOIN cities cin ON cin.id = ain.city_to) d ON a.id = pinfo.aircrafts_in_id

LEFT JOIN (SELECT aircrafts_in_id,
                  MAX(date) parsed_data_last_update
             FROM aircrafts_in_parsed_info
            WHERE status = 'success') md ON md.aircrafts_in_id = pinfo.aircrafts_in_id

LEFT JOIN (SELECT aircrafts_in_id
                  SUM(IF(status = 'success', IF(type = 'oneway',    1, 0), 0)) c_ow_success,
                  SUM(IF(status = 'error',   IF(type = 'oneway',    1, 0), 0)) c_ow_error,
                  SUM(IF(status = 'success', IF(type = 'roundtrip', 1, 0), 0)) c_rt_success,
                  SUM(IF(status = 'error',   IF(type = 'roundtrip', 1, 0), 0)) c_rt_error
             FROM aircrafts_in_parsed_info
            WHERE `date` > CURDATE()
         GROUP BY aircrafts_in_id, 
                  status, 
                  type) c ON c.aircrafts_in_id = pinfo.aircrafts_in_id

    WHERE pinfo.date > CURDATE()
 GROUP BY aircrafts_in_id
 ORDER BY `date` ASC;

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.