1

Добрый день. Есть запрос:

select 
    t1.id, 
    t1.f1,
    t1.f2,
    t1.f3,
    t1.f4,
    t2.date,
    t3.f5,
    t2.f6,
    t2.f7 FROM (
    select 
        date,
        id,
        f7,
        f6,
        f8
    FROM t2            
    WHERE t2.date >= ? and t2.date <= ?
) as t2 INNER JOIN  t1 on t2.id = t1.f9 LEFT JOIN t3 on t2.f8=t3.id ORDER BY t2.date LIMIT 5499945,99999

Проблема в том что при больших значениях LIMIT OFFSET запрос выполнятся жутко долго. Что можно сделать как можно оптимизировать.?

5
  • убрать вложенный запрос? Также посмотреть EXPLAIN (может там индексов не хватает)
    – KoVadim
    15 дек 2016 в 9:10
  • Если убрать вложенный запрос время обработки увиличивается на 50%
    – Devlog
    15 дек 2016 в 9:29
  • А что с id происходит во времени. Можно ли заменить limit на операции > < с id. это могло бы дать большой прирост. По факту вы выбираете 5499945 лишних записей, сортируете и потом просто выбрасываете. Если бы id росли во времени и вы бы где то сохранили нижнюю планку необходимых id могли бы вообще не выбирать эти записи
    – Mike
    15 дек 2016 в 9:32
  • Аналогично, если дата содержит время можно было бы где то хранить верхнюю планку времени и небольшой offset относительно начала данной секунды в поле даты. и поправить условие интервала дат
    – Mike
    15 дек 2016 в 9:39
  • Расматривал такой вариант. Но к сожалению выборка должна быть отсортированна по дате (необходимое условие) а id могут быть задним числом (тоесть бОльший id на меньшую дату)
    – Devlog
    15 дек 2016 в 9:43

1 ответ 1

1

Filesort, да на таких объёмах (судя по параметрам LIMIT), ну никак быстро не сделать. А с учётом того, что сортировка идёт по полю подзапроса, т.е. по неиндексированному набору данных - не вижу потенции оптимизации этого запроса в принципе.

Предлагаю рассмотреть вариант трансформации запроса в процедуру. В ней сделать выборку подзапроса в TEMPORARY TABLE ENGINE=Memory, проиндексировать, а уж потом получать итоговую выборку. Чем на большее число записей распадается подзапрос после связывания с другими таблицами, тем больше шанс поиметь профит... да, сам подзапрос (отбор во временную) тоже следует залимитировать, или во всяком случае постараться это сделать.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.