Подзапросы в where почти всегда (но не всегда) неоптимальное решение. Всё дело в том, что подзапрос выполняется для каждой найденной строки, а строк у вас наверняка очень много.
Просто переносить подзапрос в join этого странного запроса -- не лучшая идея. Начнём плясать от печки и разберёмся, что и зачем делает запрос, и построим его осознано.
1. Судя по всему, вы хотите поискать вхождения строк в названиях каких-то групп документов. Вероятно название может содержать отметку "дубль" (dubl) или "аннулировано" (anul); такие группы вы исключаете из рассмотрения.
Я создал таблицу и нагенерил данных, чтобы продемонстрировать результаты. Можете развернуть дамп и попробовать запросы.
create table `documentgroups` (
`id` int unsigned not null auto_increment,
`name` varchar(255) character set 'utf8mb4' collate 'utf8mb4_unicode_ci' not null,
primary key (`id`)
)
engine InnoDB
Прежде чем писать запрос, вам следует обратить внимание, что отметки лучше было бы расположить в отдельных столбцах. Для конкретно этой задачи можно завести столбец с отметкой "актуально".
alter table `documentgroups`
add column `isActive` bool as (`name` not like '%dubl%' and `name` not like '%anul%') stored not null
Это не обязательно ускорит ваши запросы, но сделает их более понятными.
select *
from `documentgroups`
where
(
`name` like '%Suformuot%'
or `name` like '%Dovan%'
)
and `isActive`
1000 строк из 300000 нашлось за 0.4s. На самом деле это не так уж и производительно. Дело в том, что MySQL пришлось обойти все 300000 строк и проверить каждую. На большем объёме данных это может стать проблемой.
В общем случае такие задачи решаются с использованием систем текстового поиска. Если "Suformuot" и "Dovan" это произвольные слова, введённые пользователем, то можно воспользоваться полнотекстовым поиском MySQL. Если это текстовое представление каких-то существующих в системе сущностей (имя клиента или компании поставщика), то разумно связать такие строки с соответствующими таблицами и искать по id.
Пока допустим, что групп немного, и оставим like
.
2. Из всех найденных групп вы хотите получить все связанные с группами документы, которые имеют тип "sale".
create table `documents` (
`ID` int unsigned not null auto_increment,
`GUID` binary(16) not null,
`documentgroupid` int unsigned not null,
`documenttypecode` enum('sale', 'purchase', 'other') not null,
primary key (`ID`),
key `documentgroupid` (`documentgroupid`)
)
engine InnoDB
Я не знаю, что такое documenttypecode
в вашей системе. Но допускаю, что он может быть представлен типом enum
. Enum хранится как число, и индекс по нему будет эффективнее индекса по столбцу строкового типа. Если documenttypecode
может быть произвольной строкой, то следует решить сколько первых символов индексировать.
select `documents`.*
from `documents`
inner join `documentgroups`
on `documentgroups`.`id` = `documents`.`documentgroupid`
where
`documents`.`documenttypecode` = 'sale'
and (
`documentgroups`.`name` like '%Suformuot%'
or `documentgroups`.`name` like '%Dovan%'
)
and `documentgroups`.`isActive`
Запрос нашёл 1500 строк из 500000 документов за 0.5s.
Обратите внимание, что я использовал именно inner join. Ведь нужны только те документы, которые связанны с группой. Left join дал бы больше строк (если бы существовали документы без группы), которые всё равно были бы отброшены в where.
3. Далее вам нужны только те документы, контакты персон которых имеют конкретный имэйл.
Связь такая:
- с документом связаны продажи (
Sales
)
- с продажами -- персоны (
salepersons
)
- c персонами -- контактные данные фирм (
FirmContacts
)
- c контактными данными фирм -- имэйлы (
firmcontactemails
)
Возможно вам следует подумать над агрегацией данных для аналитики и поиска в отдельную таблицу, чтобы не делать столько джойнов.
create table `Sales` (
`ID` int unsigned not null auto_increment,
`DocumentGUID` binary(16) not null,
primary key (`ID`),
key `DocumentGUID` (`DocumentGUID`)
)
engine InnoDB;
create table `salepersons` (
`ID` int unsigned not null auto_increment,
`SaleID` int unsigned not null,
`FirmContactID` int unsigned not null,
primary key (`ID`),
key `SaleID` (`SaleID`),
key `FirmContactID` (`FirmContactID`)
)
engine InnoDB;
create table `FirmContacts` (
`ID` int unsigned not null auto_increment,
`Email` varchar(255) not null,
primary key (`ID`)
)
engine InnoDB;
create table `firmcontactemails` (
`ID` int unsigned not null auto_increment,
`firmcontactid` int unsigned not null,
`Email` varchar(255) not null,
primary key (`ID`),
key `firmcontactid` (`firmcontactid`)
)
engine InnoDB;
Сразу добавил индексы для связей (вы можете использовать ограничение foreign
).
select `documents`.*
from `documents`
inner join `documentgroups`
on `documentgroups`.`id` = `documents`.`documentgroupid`
inner join `Sales`
on `Sales`.`DocumentGUID` = `documents`.`GUID`
inner join `salepersons`
on `salepersons`.`SaleID` = `Sales`.`ID`
inner join `FirmContacts`
on `FirmContacts`.`ID` = `salepersons`.`FirmContactID`
left join `firmcontactemails`
on `firmcontactemails`.`firmcontactid` = `FirmContacts`.`ID`
where
`documents`.`documenttypecode` = 'sale'
and (
`documentgroups`.`name` like '%Suformuot%'
or `documentgroups`.`name` like '%Dovan%'
)
and `documentgroups`.`isActive`
and (
`FirmContacts`.`Email` = '[email protected]'
or `firmcontactemails`.`Email` = '[email protected]'
)
Снова посмотрите на join'ы. Тут только один left join. Условие or
допускает, что firmcontactemails
может не существовать для конкрентного дукумента, но FirmContacts
должен быть.
Возможно тут был бы полезен индекс по Email
в таблицах FirmContacts
и firmcontactemails
. Но я предположу, что связанных с конкретным документом имэйлов не так уж и много и наоборот, поэтому большого выигрыша такие индексы не дадут.
4. Ваше последние условие, которое и приводит к проблемам, не является условием как таковое.
select max(ems.SentDate) from EMailSending ems where ems.UID_id = d.ID
Подзапрос вернёт последнюю дату отправки сообщения по документу. А далее выберете только тот документ, по которому есть сообщение у которого дата совпадает с этой последней датой. То есть это всё те же документы!
Предположу, что таким образом вы хотите получить в результатах последнюю дату отправки. Это путает. Лучше использовать группировку.
В предыдущем запросе мы наджойнили довольно много строк для условий where, при этом полученные документы не уникальны, так как для одного документа может быть несколько подходящих групп или имэйлов. Поэтому план такой: получим уникальные id документов, GUID и последнюю дату отправки сообщения во временную таблицу, а потом доджойним всё, что нужно в результате.
select
`foundDocuments`.`ID`,
`foundDocuments`.`lastSentDate`,
`documents`.`Serija`,
`documents`.`Number`,
`documents`.`Date`,
`documents`.`UpdateDate`,
`Sales`.`Price`,
`Sales`.`Amount`,
`Sales`.`DiscountFactor`,
`Sales`.`VATFactor`,
`FirmS`.`Name` as `FirmName`,
`FirmS`.`Street`,
`regions`.`Name` as `RegionName`,
`FirmS`.`Code`,
`FirmS`.`VATCode`,
`goods`.`Name` as `GoodName`,
`goods`.`Code` as `GoodCode`
from (
select
`documents`.`ID`,
`documents`.`GUID`,
max(`EMailSending`.`SentDate`) as `lastSentDate`
from `documents`
inner join `documentgroups`
on `documentgroups`.`id` = `documents`.`documentgroupid`
inner join `Sales`
on `Sales`.`DocumentGUID` = `documents`.`GUID`
inner join `salepersons`
on `salepersons`.`SaleID` = `Sales`.`ID`
inner join `FirmContacts`
on `FirmContacts`.`ID` = `salepersons`.`FirmContactID`
left join `firmcontactemails`
on `firmcontactemails`.`firmcontactid` = `FirmContacts`.`id`
inner join `EMailSending`
on `EMailSending`.`UID_id` = `documents`.`ID`
where
`documents`.`documenttypecode` = 'sale'
and (
`documentgroups`.`name` like '%Suformuot%'
or `documentgroups`.`name` like '%Dovan%'
)
and `documentgroups`.`isActive`
and (
`FirmContacts`.`Email` = '[email protected]'
or `firmcontactemails`.`Email` = '[email protected]'
)
group by
`documents`.`ID`
order by null
) as `foundDocuments`
inner join `documents`
on `documents`.`ID` = `foundDocuments`.`ID`
inner join `Sales`
on `Sales`.`DocumentGUID` = `foundDocuments`.`GUID`
inner join `salepersons`
on `salepersons`.`SaleID` = `Sales`.`ID`
inner join `FirmContacts`
on `FirmContacts`.`ID` = `salepersons`.`FirmContactID`
left join `FirmS`
on `FirmS`.`ID` = `FirmContacts`.`FirmID`
left join `regions`
on `FirmS`.`regionid` = `regions`.`id`
left join `goods`
on `Sales`.`goodid` = `goods`.`id`;
Теперь можно посмотреть на план выполнения запроса и прикинуть оптимизации. План и стратегия оптимизаций будут зависеть от ваших данных. На моих данных оптимизатор предпочитает просканировать все документы.
Можно попробовать построить более подходящие индексы. Можно поступить умнее и работать не только с индексами но и с таблицами. Например можно записывать последнюю дату отправки в documents
при создании очередной записи в EMailSending
, тогда её не придётся вычислять. Можно связать Sales
с documents
по ID
вместо GUID
. Можно разделить запрос на несколько на уровне приложения.
P.S.
Кстати, ваш запрос выполняется за те же 0.5s что и мой. Возможно у вас просто нет некоторых индексов или это особенность нагенерённых данных. В любом случае попробуйте мой запрос и посмотрите его explain на своих данных.
P.P.S
Вот действительно дельный совет: обязательно прочитайте книгу "MySQL оптимизация производительности" ("MySQL по максимуму" в последнем издании) 978-5-4461-0696-7. Там описано много приёмов оптимизации, которые вам много раз пригодятся.
where
, и убедитесь, что вам тольчно left джойны нужны, а не innerlike
c OR,not like
,distinct
уже достаточно для торможения запроса. Особенноnot like
left join ... d
а потом выноситеwhere d.xxx = ..
. зачем спрашивается?inner join ... d on ... and d.xxx =
зачем все эти декартовы произведения таблиц создавать увеличивая объем выборки, если сразу обрезать это надо.%
, если можно обойтись толькоdg.name like 'xxx%'
то пишите именно так и при поиске будет использован индекс, если вы его конечно создали. А может на большом объеме имеет смысл создать полнотекстовый индекс.