1

Таблица

CREATE TABLE `aircrafts_in_parsed_info` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `status` enum('success','error') DEFAULT NULL,
  `type` enum('roundtrip','oneway') NOT NULL,
  `date` datetime NOT NULL COMMENT 'Дата парсинга',
  `aircrafts_in_id` int(11) DEFAULT NULL COMMENT 'ID направления',
  PRIMARY KEY (`id`),
  KEY `aircrafts_in_id` (`aircrafts_in_id`)
) ENGINE=InnoDB AUTO_INCREMENT=635635 DEFAULT CHARSET=utf8

Запрос

SELECT 
    (SELECT 
            CONCAT(cf.name, ' - ', cin.name)
        FROM
            aircrafts_in ain
                JOIN
            cities cf ON cf.id = ain.city_from
                JOIN
            cities cin ON cin.id = ain.city_to
        WHERE
            ain.id = pinfo.aircrafts_in_id) direction,
    (SELECT 
            CASE ain.parsing
                    WHEN 1 THEN '+'
                    WHEN 0 THEN '-'
                END
        FROM
            aircrafts_in ain
        WHERE
            ain.id = pinfo.aircrafts_in_id) parser_enabled,
    date AS parsing_start,
    (SELECT 
            MAX(date)
        FROM
            aircrafts_in_parsed_info
        WHERE
            aircrafts_in_id = pinfo.aircrafts_in_id
                AND status = 'success') parsed_data_last_update,
    (SELECT 
            COUNT(*)
        FROM
            aircrafts_in_parsed_info
        WHERE
            aircrafts_in_id = pinfo.aircrafts_in_id
                AND status = 'success'
                AND type = 'oneway'
                AND date > CURDATE()) c_ow_success,
    (SELECT 
            COUNT(*)
        FROM
            aircrafts_in_parsed_info
        WHERE
            aircrafts_in_id = pinfo.aircrafts_in_id
                AND status = 'error'
                AND type = 'oneway'
                AND date > CURDATE()) c_ow_error,
    (SELECT 
            COUNT(*)
        FROM
            aircrafts_in_parsed_info
        WHERE
            aircrafts_in_id = pinfo.aircrafts_in_id
                AND status = 'success'
                AND type = 'roundtrip'
                AND date > CURDATE()) c_rt_success,
    (SELECT 
            COUNT(*)
        FROM
            aircrafts_in_parsed_info
        WHERE
            aircrafts_in_id = pinfo.aircrafts_in_id
                AND status = 'error'
                AND type = 'roundtrip'
                AND date > CURDATE()) c_rt_error
FROM
    aircrafts_in_parsed_info pinfo
WHERE
    pinfo.date > CURDATE()
GROUP BY aircrafts_in_id
ORDER BY date ASC;

Результат Результат

Выполняется 3 секунды, как можно оптимизировать. Запускаться будет по крону раз в день.

2
  • 2
    Раз в день? Три секунды? А смысл?
    – user181100
    18 мая 2016 в 10:12
  • интересно ради опыта
    – Kirill
    18 мая 2016 в 10:13

1 ответ 1

1

За работоспособность запроса не ручаюсь, и тем не менее надеюсь, что он наведет на нужные мысли. Общий посыл — объединить все, что только можно.

Первый шаг на пути к этому: все подзапросы переносятся из блока между SELECT... FROM в блок после FROM — кроме улучшения читаемости кода вы получаете важное преимущество: можно брать несколько полей из подзапроса в результирующий запрос, а не одно, как в исходном запросе.

Прежде всего под объединение просится этот блок:

(SELECT CONCAT(cf.name, ' - ', cin.name)
   FROM aircrafts_in ain
   JOIN cities cf ON cf.id = ain.city_from
   JOIN cities cin ON cin.id = ain.city_to
  WHERE ain.id = pinfo.aircrafts_in_id) direction,
(SELECT CASE ain.parsing
        WHEN 1 THEN '+'
        WHEN 0 THEN '-'
         END
   FROM aircrafts_in ain
  WHERE ain.id = pinfo.aircrafts_in_id) parser_enabled,

— его мы сливаем в один подзапрос:

    SELECT ain.id,
           CONCAT(cf.name, ' - ', cin.name) direction,
           IF(ain.parsing, '+', '-') parser_enabled
      FROM aircrafts_in ain
INNER JOIN cities cf ON cf.id = ain.city_from
INNER JOIN cities cin ON cin.id = ain.city_to

Вместо CASE используем IF — одна строка вместо 4.

Этот блок тоже просится под объединение:

(SELECT COUNT(*)
   FROM aircrafts_in_parsed_info
  WHERE aircrafts_in_id = pinfo.aircrafts_in_id
    AND status = 'success'
    AND type = 'oneway'
    AND date > CURDATE()) c_ow_success,
(SELECT COUNT(*)
   FROM aircrafts_in_parsed_info
  WHERE aircrafts_in_id = pinfo.aircrafts_in_id
    AND status = 'error'
    AND type = 'oneway'
    AND date > CURDATE()) c_ow_error,
(SELECT COUNT(*)
   FROM aircrafts_in_parsed_info
  WHERE aircrafts_in_id = pinfo.aircrafts_in_id
    AND status = 'success'
    AND type = 'roundtrip'
    AND date > CURDATE()) c_rt_success,
(SELECT COUNT(*)
   FROM aircrafts_in_parsed_info
  WHERE aircrafts_in_id = pinfo.aircrafts_in_id
    AND status = 'error'
    AND type = 'roundtrip'
    AND date > CURDATE()) c_rt_error

— здесь нам поможет группировка и сумма двух проверок:

    SELECT aircrafts_in_id
           SUM(IF(status = 'success', IF(type = 'oneway',    1, 0), 0)) c_ow_success,
           SUM(IF(status = 'error',   IF(type = 'oneway',    1, 0), 0)) c_ow_error,
           SUM(IF(status = 'success', IF(type = 'roundtrip', 1, 0), 0)) c_rt_success,
           SUM(IF(status = 'error',   IF(type = 'roundtrip', 1, 0), 0)) c_rt_error
      FROM aircrafts_in_parsed_info
     WHERE `date` > CURDATE()
  GROUP BY aircrafts_in_id,
           status, 
           type

На эти два объединения я бы рекомендовал обратить особое внимание и начать оптимизацию запроса именно с них.

Итог. Есть базовая таблица, к которой мы джойним три подзапроса (они отделены отступами, чтобы визуально выделить блоки).

   SELECT d.direction
          pinfo.`date` AS parsing_start,
          pinfo.aircrafts_in_id
          md.parsed_data_last_update
          c.c_ow_success,
          c.c_ow_error,
          c.c_rt_success,
          c.c_rt_error
     FROM aircrafts_in_parsed_info pinfo

LEFT JOIN (SELECT ain.id,
                  CONCAT(cf.name, ' - ', cin.name) direction,
                  IF(ain.parsing, '+', '-') parser_enabled
             FROM aircrafts_in ain
       INNER JOIN cities cf ON cf.id = ain.city_from
       INNER JOIN cities cin ON cin.id = ain.city_to) d ON a.id = pinfo.aircrafts_in_id

LEFT JOIN (SELECT aircrafts_in_id,
                  MAX(date) parsed_data_last_update
             FROM aircrafts_in_parsed_info
            WHERE status = 'success') md ON md.aircrafts_in_id = pinfo.aircrafts_in_id

LEFT JOIN (SELECT aircrafts_in_id
                  SUM(IF(status = 'success', IF(type = 'oneway',    1, 0), 0)) c_ow_success,
                  SUM(IF(status = 'error',   IF(type = 'oneway',    1, 0), 0)) c_ow_error,
                  SUM(IF(status = 'success', IF(type = 'roundtrip', 1, 0), 0)) c_rt_success,
                  SUM(IF(status = 'error',   IF(type = 'roundtrip', 1, 0), 0)) c_rt_error
             FROM aircrafts_in_parsed_info
            WHERE `date` > CURDATE()
         GROUP BY aircrafts_in_id, 
                  status, 
                  type) c ON c.aircrafts_in_id = pinfo.aircrafts_in_id

    WHERE pinfo.date > CURDATE()
 GROUP BY aircrafts_in_id
 ORDER BY `date` ASC;

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.