2

Есть таблица InnoDB состоящая из трех столбцов.

+------------+---------------------+------+-----+-------------------+-----------------------------+
| Field      | Type                | Null | Key | Default           | Extra                       |
+------------+---------------------+------+-----+-------------------+-----------------------------+
| url_id     | bigint(20) unsigned | NO   | PRI | 0                 |                             |
| visitor_id | bigint(20) unsigned | YES  | MUL | NULL              |                             |
| visit_time | timestamp           | NO   | MUL | CURRENT_TIMESTAMP | on update CURRENT_TIMESTAMP |
+------------+---------------------+------+-----+-------------------+-----------------------------+

В таблице 2+ миллиона строк. Мне необходимо выбрать значения, у которых visit_time > "2016-01-01". На все поля повешен индексы.

Проблема в том, что если я делаю это используя visit_time, то получается очень долго.

mysql> SELECT COUNT(lu1.visitor_id)
    -> FROM log_url as lu1
    -> WHERE lu1.visit_time > "2016-01-01";
+-----------------------+
| COUNT(lu1.visitor_id) |
+-----------------------+
|                787719 |
+-----------------------+
1 row in set (2,71 sec)

А если сделать через visitor_id, получается значительно быстрей.

mysql> SELECT COUNT(lu1.visitor_id)
    -> FROM log_url as lu1
    -> WHERE lu1.visitor_id > 600000;
+-----------------------+
| COUNT(lu1.visitor_id) |
+-----------------------+
|                787719 |
+-----------------------+
1 row in set (0,25 sec)

Подскажите, в чем проблема?

UPD: Забыл сразу EXPLAIN приложить. Получается при выборке по дате он не использует индекс. Хотя индекс есть.

mysql> EXPLAIN
    -> SELECT COUNT(lu1.visitor_id)
    -> FROM log_url as lu1
    -> WHERE lu1.visitor_id > 600000;
+----+-------------+-------+-------+---------------+------------+---------+------+---------+--------------------------+
| id | select_type | table | type  | possible_keys | key        | key_len | ref  | rows    | Extra                    |
+----+-------------+-------+-------+---------------+------------+---------+------+---------+--------------------------+
|  1 | SIMPLE      | lu1   | range | visitor_id    | visitor_id | 9       | NULL | 1020864 | Using where; Using index |
+----+-------------+-------+-------+---------------+------------+---------+------+---------+--------------------------+

visit_time:

mysql> EXPLAIN
    -> SELECT COUNT(lu1.visitor_id)
    -> FROM log_url as lu1
    -> WHERE lu1.visit_time > "2016-01-01";
+----+-------------+-------+------+---------------+------+---------+------+---------+-------------+
| id | select_type | table | type | possible_keys | key  | key_len | ref  | rows    | Extra       |
+----+-------------+-------+------+---------------+------+---------+------+---------+-------------+
|  1 | SIMPLE      | lu1   | ALL  | visit_time    | NULL | NULL    | NULL | 2041728 | Using where |
+----+-------------+-------+------+---------------+------+---------+------+---------+-------------+
2
  • Сделайте EXPLAIN, тогда можно будет думать.
    – user181100
    8 апр 2016 в 19:34
  • @D-side, обновил вопрос.
    – danil
    8 апр 2016 в 19:43

1 ответ 1

6

Вы в обоих случаях и при выборе по ID и при выборе по дате даете count(ID). Функция count() должна посчитать все НЕ NULL значения, в указанной в ней колонке. Поэтому при поиске по ID>n оптимизатор понимает, что можно пойти для выборки по индексу ID и прямо в этом же индексе найти значения для передачи их count. На основании этого он принимает решение посчитать записи даже не заглядывая в блоки данных, только по индексу (о чем говорит 'using index' в плане выполнения).

В случае когда вы задаете выборку по дате date>n и при этом хотите сосчитать количество count(ID) оптимизатор понимает, что данных в индексе по дате недостаточно, т.к. там нет ID. Следовательно для выполнения запроса ему пришлось бы найти по индексу каждую запись удовлетворяющую условию и заглянуть в блок данных, где лежит ID. Оптимизатор знает, что в таблице много записей и подозревает, что по заданному уловию выборки ему очень много раз придется заглянуть в индекс, а потом в блок данных. Операция прямого перебора блоков данных на 2 млн. записей гораздо быстрее, чем перебор 700к записей с заглядыванием в индекс, а потом подъемом блоков данных. В итоге оптимизатор принимает единственно верное решение - полный перебор таблицы, без использования индекса.

В случаях когда нужно получить количество строк следует всегда писать count(1), а не указывать конкретную колонку. Тогда можно быть уверенным, что оптимизатор будет опираться исключительно на другие, более важные, детали запроса, нежели получение значений ради их подсчета. count(колонка) следует использовать только в одном случае - когда вы реально хотите посчитать не просто количество записей, а количество записей содержащих в указанной колонке НЕ NULL значение.

2
  • Спасибо за Ваш ответ. Данную ситуацию он объясняет, но после него, я стал пробовать вариации с этим запросом, в частности GROUP BY, и SELECT *, и теперь у меня значительно больше вопросов :)
    – danil
    9 апр 2016 в 17:47
  • @danil Вы еще с условием поиграйтесь и просто смотрите explain. Оптимизатор достаточно умный. Если будете брать тот же count(id) where dt>'2016-04-01' вполне возможно что он пойдет по индексу, если не пойдет, попробуйте еще ближе к текущей дате значение поставить или limit ограничить. В какой то момент он вполне может понять, что записей ожидается не очень много и пойти по индексу :)
    – Mike
    9 апр 2016 в 18:48

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.