0
SELECT distinct d.ID as DocumentID, d.Serija, d.Number, d.Date, d.UpdateDate
     , s.Price, s.Amount, s.DiscountFactor, s.VATFactor
     , f.Name as FirmName, f.Street, r.Name as RegionName
     , f.Code, f.VATCode, g.Name as GoodName, g.Code as GoodCode, es.SentDate
FROM  salepersons sp 
left JOIN Sales s on  .SaleID = s.ID 
left join FirmContacts fc on sp.FirmContactID = fc.ID 
left join FirmS f on  fc.FirmID = f.ID 
left join goods g on s.goodid = g.id 
left join documents d on s.DocumentGUID = D.GUID 
left join firmcontactemails fce on fc.id = fce.firmcontactid
left join goods g2 on g.parentid = g2.id
left join regions r on f.regionid = r.id
left join documentgroups dg on d.documentgroupid = dg.id
inner join EMailSending es on d.ID = es.UID_id

WHERE d.documenttypecode = 'sale' 
        AND (dg.name like '%Suformuot%' or dg.name like '%Dovan%' ) 
        and dg.name not like '%dubl%' 
        and dg.name not like '%anul%' 
        and (fc.Email = '[email protected]' OR fce.Email = '[email protected]')
        and es.SentDate = (
            select max(ems.SentDate) from EMailSending ems where ems.UID_id = d.ID
        )

с добавлением последнего условия

and es.SentDate = (select max(ems.SentDate) from EMailSending ems where ems.UID_id = d.ID)

очень долго обрабатывается

Пробовал по другому, вот так

        SELECT distinct d.ID as DocumentID, dg.name, d.Serija, d.Number, d.Date, d.UpdateDate, s.Price, s.Amount, s.DiscountFactor, s.VATFactor, f.Name as FirmName, f.Street, r.Name as RegionName, f.Code, f.VATCode, g.Name as GoodName, g.Code as GoodCode, es.SentDate
        FROM  salepersons sp left JOIN Sales s on 
        sp.SaleID = s.ID left join FirmContacts fc on 
        sp.FirmContactID = fc.ID left join FirmS f on
        fc.FirmID = f.ID left join goods g on
        s.goodid = g.id left join documents d on
        S.DocumentGUID = D.GUID 
            left join firmcontactemails fce on fc.id = fce.firmcontactid
            left join goods g2 on g.parentid = g2.id
            left join regions r on f.regionid = r.id
            left join documentgroups dg on d.documentgroupid = dg.id
            inner join EMailSending es on d.ID = es.UID_id
            INNER JOIN (SELECT UID_id, MAX(SentDate) maxSentDate FROM EMailSending GROUP   BY UID_id) c ON c.UID_id = d.ID AND es.SentDate = c.maxSentDate
            WHERE d.documenttypecode = 'sale' AND (dg.name LIKE 'Suformuot%' or dg.name like '%Dovan%' ) and dg.name not like '%dubl%' and dg.name not like '%anul%' and (fc.Email = '[email protected]' OR fce.Email = '[email protected]')
8
  • начните с того чтобы условия на таблицы связи писать в сами джойны а не where, и убедитесь, что вам тольчно left джойны нужны, а не inner
    – teran
    Commented 13 янв. 2021 в 10:21
  • 1
    Условие с подзапросом, like c OR, not like, distinct уже достаточно для торможения запроса. Особенно not like
    – Anatoly
    Commented 13 янв. 2021 в 10:24
  • вот пишите вы например left join ... d а потом выносите where d.xxx = ... зачем спрашивается? inner join ... d on ... and d.xxx = зачем все эти декартовы произведения таблиц создавать увеличивая объем выборки, если сразу обрезать это надо.
    – teran
    Commented 13 янв. 2021 в 10:29
  • если like используйте, то хотя бы старайтесь, чтобы шаблон не начинался с %, если можно обойтись только dg.name like 'xxx%' то пишите именно так и при поиске будет использован индекс, если вы его конечно создали. А может на большом объеме имеет смысл создать полнотекстовый индекс.
    – teran
    Commented 13 янв. 2021 в 10:33
  • LEFT на INNER заменил, like и прочее не могу. Но это и не особо влияет на скорость. Влияет только последняя строка. Со всеми left i like запрос обрабатывается за 0.5секунд, а вот с той строкой мною выделенной 3 секунды.
    – akasergej
    Commented 13 янв. 2021 в 11:00

1 ответ 1

1

Подзапросы в where почти всегда (но не всегда) неоптимальное решение. Всё дело в том, что подзапрос выполняется для каждой найденной строки, а строк у вас наверняка очень много.

Просто переносить подзапрос в join этого странного запроса -- не лучшая идея. Начнём плясать от печки и разберёмся, что и зачем делает запрос, и построим его осознано.

1. Судя по всему, вы хотите поискать вхождения строк в названиях каких-то групп документов. Вероятно название может содержать отметку "дубль" (dubl) или "аннулировано" (anul); такие группы вы исключаете из рассмотрения.

Я создал таблицу и нагенерил данных, чтобы продемонстрировать результаты. Можете развернуть дамп и попробовать запросы.

create table `documentgroups` (
    `id` int unsigned not null auto_increment,
    `name` varchar(255) character set 'utf8mb4' collate 'utf8mb4_unicode_ci' not null,
    primary key (`id`)
)
engine InnoDB

Прежде чем писать запрос, вам следует обратить внимание, что отметки лучше было бы расположить в отдельных столбцах. Для конкретно этой задачи можно завести столбец с отметкой "актуально".

alter table `documentgroups`
    add column `isActive` bool as (`name` not like '%dubl%' and `name` not like '%anul%') stored not null

Это не обязательно ускорит ваши запросы, но сделает их более понятными.

select *
from `documentgroups`
where
    (
        `name` like '%Suformuot%'
        or `name` like '%Dovan%'
    )
    and `isActive`

1000 строк из 300000 нашлось за 0.4s. На самом деле это не так уж и производительно. Дело в том, что MySQL пришлось обойти все 300000 строк и проверить каждую. На большем объёме данных это может стать проблемой.

В общем случае такие задачи решаются с использованием систем текстового поиска. Если "Suformuot" и "Dovan" это произвольные слова, введённые пользователем, то можно воспользоваться полнотекстовым поиском MySQL. Если это текстовое представление каких-то существующих в системе сущностей (имя клиента или компании поставщика), то разумно связать такие строки с соответствующими таблицами и искать по id.

Пока допустим, что групп немного, и оставим like.

2. Из всех найденных групп вы хотите получить все связанные с группами документы, которые имеют тип "sale".

create table `documents` (
    `ID` int unsigned not null auto_increment,
    `GUID` binary(16) not null,
    `documentgroupid` int unsigned not null,
    `documenttypecode` enum('sale', 'purchase', 'other') not null,
    primary key (`ID`),
    key `documentgroupid` (`documentgroupid`)
)
engine InnoDB

Я не знаю, что такое documenttypecode в вашей системе. Но допускаю, что он может быть представлен типом enum. Enum хранится как число, и индекс по нему будет эффективнее индекса по столбцу строкового типа. Если documenttypecode может быть произвольной строкой, то следует решить сколько первых символов индексировать.

select `documents`.*
from `documents`
inner join `documentgroups`
    on `documentgroups`.`id` = `documents`.`documentgroupid`
where
    `documents`.`documenttypecode` = 'sale'
    and (
        `documentgroups`.`name` like '%Suformuot%'
        or `documentgroups`.`name` like '%Dovan%'
    )
    and `documentgroups`.`isActive`

Запрос нашёл 1500 строк из 500000 документов за 0.5s.

Обратите внимание, что я использовал именно inner join. Ведь нужны только те документы, которые связанны с группой. Left join дал бы больше строк (если бы существовали документы без группы), которые всё равно были бы отброшены в where.

3. Далее вам нужны только те документы, контакты персон которых имеют конкретный имэйл.

Связь такая:

  • с документом связаны продажи (Sales)
  • с продажами -- персоны (salepersons)
  • c персонами -- контактные данные фирм (FirmContacts)
  • c контактными данными фирм -- имэйлы (firmcontactemails)

Возможно вам следует подумать над агрегацией данных для аналитики и поиска в отдельную таблицу, чтобы не делать столько джойнов.

create table `Sales` (
    `ID` int unsigned not null auto_increment,
    `DocumentGUID` binary(16) not null,
    primary key (`ID`),
    key `DocumentGUID` (`DocumentGUID`)
)
engine InnoDB;

create table `salepersons` (
    `ID` int unsigned not null auto_increment,
    `SaleID` int unsigned not null,
    `FirmContactID` int unsigned not null,
    primary key (`ID`),
    key `SaleID` (`SaleID`),
    key `FirmContactID` (`FirmContactID`)
)
engine InnoDB;

create table `FirmContacts` (
    `ID` int unsigned not null auto_increment,
    `Email` varchar(255) not null,
    primary key (`ID`)
)
engine InnoDB;

create table `firmcontactemails` (
    `ID` int unsigned not null auto_increment,
    `firmcontactid` int unsigned not null,
    `Email` varchar(255) not null,
    primary key (`ID`),
    key `firmcontactid` (`firmcontactid`)
)
engine InnoDB;

Сразу добавил индексы для связей (вы можете использовать ограничение foreign).

select `documents`.*
from `documents`
inner join `documentgroups`
    on `documentgroups`.`id` = `documents`.`documentgroupid`
inner join `Sales`
    on `Sales`.`DocumentGUID` = `documents`.`GUID`
inner join `salepersons`
    on `salepersons`.`SaleID` = `Sales`.`ID`
inner join `FirmContacts`
    on `FirmContacts`.`ID` = `salepersons`.`FirmContactID`
left join `firmcontactemails`
    on `firmcontactemails`.`firmcontactid` = `FirmContacts`.`ID`
where
    `documents`.`documenttypecode` = 'sale'
    and (
        `documentgroups`.`name` like '%Suformuot%'
        or `documentgroups`.`name` like '%Dovan%'
    )
    and `documentgroups`.`isActive`
    and (
        `FirmContacts`.`Email` = '[email protected]'
        or `firmcontactemails`.`Email` = '[email protected]'
    )

Снова посмотрите на join'ы. Тут только один left join. Условие or допускает, что firmcontactemails может не существовать для конкрентного дукумента, но FirmContacts должен быть.

Возможно тут был бы полезен индекс по Email в таблицах FirmContacts и firmcontactemails. Но я предположу, что связанных с конкретным документом имэйлов не так уж и много и наоборот, поэтому большого выигрыша такие индексы не дадут.

4. Ваше последние условие, которое и приводит к проблемам, не является условием как таковое.

select max(ems.SentDate) from EMailSending ems where ems.UID_id = d.ID

Подзапрос вернёт последнюю дату отправки сообщения по документу. А далее выберете только тот документ, по которому есть сообщение у которого дата совпадает с этой последней датой. То есть это всё те же документы!

Предположу, что таким образом вы хотите получить в результатах последнюю дату отправки. Это путает. Лучше использовать группировку.

В предыдущем запросе мы наджойнили довольно много строк для условий where, при этом полученные документы не уникальны, так как для одного документа может быть несколько подходящих групп или имэйлов. Поэтому план такой: получим уникальные id документов, GUID и последнюю дату отправки сообщения во временную таблицу, а потом доджойним всё, что нужно в результате.

select
    `foundDocuments`.`ID`,
    `foundDocuments`.`lastSentDate`,
    `documents`.`Serija`,
    `documents`.`Number`,
    `documents`.`Date`,
    `documents`.`UpdateDate`,
    `Sales`.`Price`,
    `Sales`.`Amount`,
    `Sales`.`DiscountFactor`,
    `Sales`.`VATFactor`,
    `FirmS`.`Name` as `FirmName`,
    `FirmS`.`Street`,
    `regions`.`Name` as `RegionName`,
    `FirmS`.`Code`,
    `FirmS`.`VATCode`,
    `goods`.`Name` as `GoodName`,
    `goods`.`Code` as `GoodCode`
from (
    select
        `documents`.`ID`,
        `documents`.`GUID`,
        max(`EMailSending`.`SentDate`) as `lastSentDate`
    from `documents`
    inner join `documentgroups`
        on `documentgroups`.`id` = `documents`.`documentgroupid`
    inner join `Sales`
        on `Sales`.`DocumentGUID` = `documents`.`GUID`
    inner join `salepersons`
        on `salepersons`.`SaleID` = `Sales`.`ID`
    inner join `FirmContacts`
        on `FirmContacts`.`ID` = `salepersons`.`FirmContactID`
    left join `firmcontactemails`
        on `firmcontactemails`.`firmcontactid` = `FirmContacts`.`id`
    inner join `EMailSending`
        on `EMailSending`.`UID_id` = `documents`.`ID`
    where
        `documents`.`documenttypecode` = 'sale'
        and (
            `documentgroups`.`name` like '%Suformuot%'
            or `documentgroups`.`name` like '%Dovan%'
        )
        and `documentgroups`.`isActive`
        and (
            `FirmContacts`.`Email` = '[email protected]'
            or `firmcontactemails`.`Email` = '[email protected]'
        )
    group by
        `documents`.`ID`
    order by null
) as `foundDocuments`
inner join `documents`
    on `documents`.`ID` = `foundDocuments`.`ID`
inner join `Sales`
    on `Sales`.`DocumentGUID` = `foundDocuments`.`GUID`
inner join `salepersons`
    on `salepersons`.`SaleID` = `Sales`.`ID`
inner join `FirmContacts`
    on `FirmContacts`.`ID` = `salepersons`.`FirmContactID`
left join `FirmS`
    on `FirmS`.`ID` = `FirmContacts`.`FirmID`
left join `regions`
    on `FirmS`.`regionid` = `regions`.`id`
left join `goods`
    on `Sales`.`goodid` = `goods`.`id`;

Теперь можно посмотреть на план выполнения запроса и прикинуть оптимизации. План и стратегия оптимизаций будут зависеть от ваших данных. На моих данных оптимизатор предпочитает просканировать все документы.

Можно попробовать построить более подходящие индексы. Можно поступить умнее и работать не только с индексами но и с таблицами. Например можно записывать последнюю дату отправки в documents при создании очередной записи в EMailSending, тогда её не придётся вычислять. Можно связать Sales с documents по ID вместо GUID. Можно разделить запрос на несколько на уровне приложения.


P.S. Кстати, ваш запрос выполняется за те же 0.5s что и мой. Возможно у вас просто нет некоторых индексов или это особенность нагенерённых данных. В любом случае попробуйте мой запрос и посмотрите его explain на своих данных.

P.P.S Вот действительно дельный совет: обязательно прочитайте книгу "MySQL оптимизация производительности" ("MySQL по максимуму" в последнем издании) 978-5-4461-0696-7. Там описано много приёмов оптимизации, которые вам много раз пригодятся.

1
  • Огооо, вот это ответ! Спасибо вам огромное за труд! :)
    – akasergej
    Commented 28 янв. 2021 в 15:28

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.