Есть большая база (1млн записей).
Мне необходимо выбрать случайную запись, которая уникальна для определенного ключа (текст) и принадлежит определенному пользователю.
Структура таблицы выглядит примерно так:
CREATE TABLE `data` (
`id` int(10) unsigned NOT NULL AUTO_INCREMENT,
`idx` int(10) unsigned NOT NULL DEFAULT '0',
`data` varchar(255) DEFAULT '',
PRIMARY KEY (`id`),
KEY `idx_idx` (`idx`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
Поле idx
нужно для "рандомизации" выборки.
Поскольку у MySQL нет типа данных "массив", мне в голову пришло 2 возможных решения.
Сделать 2 таблицы, одна - с данными, вторая - с информацией об использованных данных.
Сделать таблице с данными текстовые поля
owners
иused_keys
, в которых хранить информацию, разделяя её неким разделителем.
В первом случае я создал 2 таблицы:
CREATE TABLE `data_owners` (
`id` int(10) unsigned NOT NULL,
`owner` int(10) unsigned NOT NULL,
PRIMARY_KEY(`id`, `owner`)
) ENGINE=InnoDB;
CREATE TABLE `data_used_keys` (
`id` int(10) unsigned NOT NULL,
`key` varchar(32) unsigned NOT NULL,
PRIMARY_KEY(`id`, `key`)
) ENGINE=InnoDB;
Запрос выглядел так:
SELECT id, data FROM data JOIN data_owners USING(id) LEFT JOIN data_used_keys USING(id) WHERE owner = 1 AND key IS NULL ORDER BY idx LIMIT 10000, 1;
или так:
SELECT id, data FROM data WHERE id IN(SELECT id FROM data_owners WHERE owner = 1) AND id NOT IN(SELECT id FROM data_used_keys WHERE key = 'some_key') ORDER BY idx LIMIT 10000, 1;
Работал этот запрос крайне медленно (50% данных "принадлежали" пользователю 1, остальные 50% - пользователю 2).
Во втором случае было сделано 2 поля. И владельцев и ключей может быть много, потому я выбрал тип MEDIUMTEXT
. Данные выглядели примерно так:
| id | data | owners | used_keys |
| 1 | test1 | ;0;1; | ;some_key1; |
| 2 | test2 | ;0;2; | ;some_key2; |
Запрос выглядел так:
SELECT id, data FROM data WHERE owners LIKE '%;1;%' AND used_keys NOT LIKE '%;some_key2;%' ORDER BY idx LIMIT 10000, 1;
Второй вариант работал значительно быстрее, чем первый, однако работал все равно ОЧЕНЬ медленно.
Я заметил, что в данном случае MyISAM отработал в десятки (а то и сотни) раз быстрее, хотя и не так быстро, как хотелось бы. Двадцатитысячная запись выбиралась почти секунду. Однако MyISAM не подходит, т.к. мне нужно получать 100% уникальную запись, а в нем нет транзакций.
Что можно сделать в данном случае?
ORDER BY RAND() LIMIT 1
(если после фильтрации осталось мало записей, иначе все будет тормозить) , либо где-нить в коде генерируете случайное число и выбираете по нему (например, первый меньший id). По медленным запросам я бы порекомендовал почитать что-нибудь типа этого.ORDER BY RAND()
будет работать крайне медленно. У меня 1млн записей. Вариант с "меньшимid
" и так был использован, только в качествеid
выступал не Primary Key. В статье, которую предложили Вы - решением является добавление индекса. В моем случае это невозможно, т.к. у меня вWHERE
выборка по полям типаTEXT
.ORDER BY RAND()
даже на 20М работает нормально, если выборка возвращает мало записей (сортировка идет последней, поэтому не важно сколько записей было изначально, важно сколько получилось в результирующем наборе). Про "меньший id" имелось ввиду следующее: для вашего первого варианта первым запросом выбираемmin(id)
иmax(id)
по интересующим условиям, генерируем случайное число в этих пределах и следующим запросом выбираем запись, которая "меньше-или-равно" этому случайному числу. Т.к. выборка идет по id (который PK), то скорость будет высокойLIMIT 10000, 1
. Т.е. чтобы получить одну запись, необходимо перед этим обработать 10К записей. Если выборка без лимита будет не быстрой, то с лимитом будет еще дольше. Я поэтому ссылку и привел - не чтобы вы индекс добавили, а чтобы посмотрели что именно тормозит. Может стоит mysql использовать tmpfs и запросы взлетят? Или немного с настройками поиграться? Без профилирования (и понимания того, что именно тормозит) трудно оптимизировать (у вас можетidx
без индекса).ORDER BY RAND()
не подходит, т.к. может быть такое, что пользователь владеет всеми записями и ни одна из них не использовалась (т.е. фильтрация вернет все записи в таблице). Выше я указал, какой вид имеет таблица. Как можно заметить - индекс на idx есть. Хотя Вы правы,ORDER BY idx
крайне сильно (более чем в 100 раз) тормозит запрос (интересно почему, ведь поле проиндексировано). Изменив запрос наSELECT MIN(id), MAX(id) FROM data WHERE owners LIKE '%;1;%' AND used_keys NOT LIKE '%;some_key1;%'
отработало значительно быстрее, но все равно долго.