0

Есть большая база (1млн записей).

Мне необходимо выбрать случайную запись, которая уникальна для определенного ключа (текст) и принадлежит определенному пользователю.

Структура таблицы выглядит примерно так:

CREATE TABLE `data` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `idx` int(10) unsigned NOT NULL DEFAULT '0',
  `data` varchar(255) DEFAULT '',
  PRIMARY KEY (`id`),
  KEY `idx_idx` (`idx`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

Поле idx нужно для "рандомизации" выборки.

Поскольку у MySQL нет типа данных "массив", мне в голову пришло 2 возможных решения.

  1. Сделать 2 таблицы, одна - с данными, вторая - с информацией об использованных данных.

  2. Сделать таблице с данными текстовые поля owners и used_keys, в которых хранить информацию, разделяя её неким разделителем.

В первом случае я создал 2 таблицы:

CREATE TABLE `data_owners` (
  `id` int(10) unsigned NOT NULL,
  `owner` int(10) unsigned NOT NULL,
  PRIMARY_KEY(`id`, `owner`)
) ENGINE=InnoDB;

CREATE TABLE `data_used_keys` (
  `id` int(10) unsigned NOT NULL,
  `key` varchar(32) unsigned NOT NULL,
  PRIMARY_KEY(`id`, `key`)
) ENGINE=InnoDB;

Запрос выглядел так:

SELECT id, data FROM data JOIN data_owners USING(id) LEFT JOIN data_used_keys USING(id) WHERE owner = 1 AND key IS NULL ORDER BY idx LIMIT 10000, 1;

или так:

SELECT id, data FROM data WHERE id IN(SELECT id FROM data_owners WHERE owner = 1) AND id NOT IN(SELECT id FROM data_used_keys WHERE key = 'some_key') ORDER BY idx LIMIT 10000, 1;

Работал этот запрос крайне медленно (50% данных "принадлежали" пользователю 1, остальные 50% - пользователю 2).

Во втором случае было сделано 2 поля. И владельцев и ключей может быть много, потому я выбрал тип MEDIUMTEXT. Данные выглядели примерно так:

| id |  data  | owners |  used_keys  |
|  1 |  test1 | ;0;1;  | ;some_key1; |
|  2 |  test2 | ;0;2;  | ;some_key2; |

Запрос выглядел так:

SELECT id, data FROM data WHERE owners LIKE '%;1;%' AND used_keys NOT LIKE '%;some_key2;%' ORDER BY idx LIMIT 10000, 1;

Второй вариант работал значительно быстрее, чем первый, однако работал все равно ОЧЕНЬ медленно.

Я заметил, что в данном случае MyISAM отработал в десятки (а то и сотни) раз быстрее, хотя и не так быстро, как хотелось бы. Двадцатитысячная запись выбиралась почти секунду. Однако MyISAM не подходит, т.к. мне нужно получать 100% уникальную запись, а в нем нет транзакций.

Что можно сделать в данном случае?

11
  • Эмъ... Тема у вас "Выборка случайной не использовавшейся записи", а в теле вопроса у вас описаны тормоза конкретных запросов. Отвечая на тему, можно предложить ORDER BY RAND() LIMIT 1 (если после фильтрации осталось мало записей, иначе все будет тормозить) , либо где-нить в коде генерируете случайное число и выбираете по нему (например, первый меньший id). По медленным запросам я бы порекомендовал почитать что-нибудь типа этого.
    – BOPOH
    21 мая 2015 в 20:04
  • @BOPOH, я не описывал тормоза конкретных вопросов, а лишь описал те способы, которые я использовал, дабы мне их не предлагали. ORDER BY RAND() будет работать крайне медленно. У меня 1млн записей. Вариант с "меньшим id" и так был использован, только в качестве id выступал не Primary Key. В статье, которую предложили Вы - решением является добавление индекса. В моем случае это невозможно, т.к. у меня в WHERE выборка по полям типа TEXT. 21 мая 2015 в 21:07
  • ORDER BY RAND() даже на 20М работает нормально, если выборка возвращает мало записей (сортировка идет последней, поэтому не важно сколько записей было изначально, важно сколько получилось в результирующем наборе). Про "меньший id" имелось ввиду следующее: для вашего первого варианта первым запросом выбираем min(id) и max(id) по интересующим условиям, генерируем случайное число в этих пределах и следующим запросом выбираем запись, которая "меньше-или-равно" этому случайному числу. Т.к. выборка идет по id (который PK), то скорость будет высокой
    – BOPOH
    22 мая 2015 в 3:10
  • А сейчас у вас вроде как основная проблема в том, что вы делаете LIMIT 10000, 1. Т.е. чтобы получить одну запись, необходимо перед этим обработать 10К записей. Если выборка без лимита будет не быстрой, то с лимитом будет еще дольше. Я поэтому ссылку и привел - не чтобы вы индекс добавили, а чтобы посмотрели что именно тормозит. Может стоит mysql использовать tmpfs и запросы взлетят? Или немного с настройками поиграться? Без профилирования (и понимания того, что именно тормозит) трудно оптимизировать (у вас может idx без индекса).
    – BOPOH
    22 мая 2015 в 3:15
  • @BOPOH, ORDER BY RAND() не подходит, т.к. может быть такое, что пользователь владеет всеми записями и ни одна из них не использовалась (т.е. фильтрация вернет все записи в таблице). Выше я указал, какой вид имеет таблица. Как можно заметить - индекс на idx есть. Хотя Вы правы, ORDER BY idx крайне сильно (более чем в 100 раз) тормозит запрос (интересно почему, ведь поле проиндексировано). Изменив запрос на SELECT MIN(id), MAX(id) FROM data WHERE owners LIKE '%;1;%' AND used_keys NOT LIKE '%;some_key1;%' отработало значительно быстрее, но все равно долго. 22 мая 2015 в 9:38

2 ответа 2

1

MyISAM не подходит, т.к. мне нужно получать 100% уникальную запись, а в нем нет транзакций.

Это очень характерное заблуждение. Люди очень часто путают транзакции с блокировками, не понимая, что для чего нужно.

Транзакция гарантирует целостность записей. Она дает гарантию, что у нас либо изменились все нужные записи, либо ни одной.

А для уникальности нужны блокировки. В майисам вполне себе есть блокировки, на уровне таблиц. Если мы таки уверены в том, что отработаем выдачу кода быстро, то лочим таблицу на чтение, берем нужный код, записываем его в юзанные и отпускаем таблицу.

1
  • Я знаю о блокировках на уровне таблиц, но для данной задачи блокировки на уровне таблицы крайне нежелательны. Если у меня запрос будет выполняться, скажем, 250мс и 20 параллельных пользователей попытаются получить данные для разных ключей - то последний пользователь получит информацию аж через 10 секунд. 23 мая 2015 в 9:23
0

Речь про вариант с отдельными таблицами.
Сначала запросы надо сделать одинаковыми с точки зрения возвращаемых результатов (возможно у вас там опечатка, в реальности тестируете правильные запросы, тем не менее). Первый запрос должен выглядеть так:

SELECT d.id, d.data 
FROM data d 
  JOIN data_owners dow on d.id = dow.id
  LEFT JOIN data_used_keys dk on d.id = dk.id and dk.key='some_key'
WHERE 
  dow.owner = 1 
  AND dk.key IS NULL 
ORDER BY d.idx 
LIMIT 10000, 1;

Надо сразу смотреть план. Если таки первичные ключи используются (вполне вероятно), а для сортировки индекс по idx, то уже неплохо.
Далее идет шаманство с индексами. Попробовать поменять порядок полей в первичном ключе data_used_keys. Попробовать добавить таки индексы на каждое поле в data_used_keys (и в data_owners попробовать тоже). Использовать hint'ы для проверки эффективности каждого из индексов (force index) - чем меньше записей будет отфильтровано индексами, тем соответственно будет быстрее все работать.

Запросы отличаются порядком выполнения. В первом порядок join'ов определяется используемым индексом, во втором будут зависимые подзапросы.
Еще один вариант второго запроса такой:

SELECT d.id, d.data 
FROM data d 
WHERE 
  EXISTS (SELECT 1 
          from data_owners dow 
          WHERE 
            dow.owner = 1 
            AND dow.id = d.id) 
  AND NOT exists (SELECT 1 
                  FROM data_used_keys dk 
                  WHERE 
                    dk.key="some_key" 
                    AND d.id=dk.id)
ORDER BY idx 
LIMIT 10000,1;

ЗЫ удобнее всего анализом запросов заниматься в dbForge Studio for MySQL (бесплатная для некоммерческого использования), там можно в одной табличке смотреть сравнение show profile и show variables для нескольких запросов.
ЗЗЫ серебряной пули нет, ее надо искать, все будет зависеть от упорства и характера выбираемых данных.

1
  • Потестировал эти варианты (без LIMIT 10000). Не смотря на то, что EXPLAIN говорит, что везде используются индексы - выборка для "далеко лежащих" данных выполняется крайне медленно (на моем пк уже 10 минут прошло, а запрос еще не выполнился). 23 мая 2015 в 9:40

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.