0

Имеется база данных MySQL. Мне необходимо получать из неё данные и переносить в базу данных MS SQL. Делаю я это с помощью Python. В таблице порядка 30 миллионов записей с большим количеством столбцов. Пробовал получить все записи целиком, но столкнулся с проблемой нехватки ОЗУ и файла подкачки, который вырос до 250GB.

Соответственно было решено разбить получение данных из таблицы на небольшие запросы (в моем текущем случаи на 500.

Я получаю общее кол-во записей в таблице, а после исходя из них в цикле строю SQL запрос: SELECT * FROM [таблица] LIMIT 500 OFFSET [последнее значение с которого начинаю новую операцию]. Всё работает, но возникает проблема со скоростью работы MySQL. Каждый последующий запрос медленнее предыдущего, если первые 500 записей я получаю за долю секунды, то SELECT * FROM [таблица] LIMIT 500 OFFSET 1000000 я получаю уже за 3-4 минуты, от чего время выполнения растягивается на недели.

Каким путем я могу оптимизировать свой довольно простой и долгий SQL запрос получения записей "от" и "до"? PS - при всем этом диск, ОЗУ и CPU не загружаются на максимум.

Пробовал многопоточность, чтобы каждый поток получал свои записи:

  1. записи от 500 до 1000
  2. записи от 1000 до 1500
  3. записи от 1500 до 2000

..и т.д на все потоки

При SELECT * FROM information_schema.processlist; я вижу результат получения нужных данных, но данный подход особо не ускорил работу.

8
  • 1
    Добавьте столбец в таблицу, допустим orderNum, если нет id записи с типом число. orderNum заполните от 1 до последнего, постройте индекс и обращайтесь к таблице как where orderNum >= 501 and orderNum <=1000. Если если есть ID целочисленный, то логичнее использовать его.
    – SwaD
    8 сен в 13:05
  • Да, есть ID в виде первичного ключа и это действительно ускорило процесс, но время выполнения всё равно оставляет желать лучшего. В скрипте есть счетчик оставшегося времени, который считает общее-кол во записей и высчитывает за сколько была вставлены последние 500 запись, исходя из этого он высчитывает остаток записей и время на вставку всех данных. Приблизительно до 100 тыс. записей всё хорошо, а после каждый новый запрос добавляет несколько секунд. Изначально скрипт должен занять около 20 часов, но подойдя ближе к 500 тыс. записи время выполнения вырастает с 20 часов, до 25.
    – zerxa
    8 сен в 13:23
  • 2
    Ну вообще-то SQL Server и сам может подключиться к MySQL и забрать с него данные. Чуть сложнее наоборот - чтобы MySQL подключился к SQL Server, но тоже возможно. Посему в упор не вижу необходимости гонять данные на клиента и обратно - клиент просто рулит этим процессом..
    – Akina
    8 сен в 13:28
  • @Akina да, можно сделать миграцию с помощью SSM Assistent for MySQL в SQL SERVER и обратно. Он работает куда быстрее моего варианта. В MySQL запросах я вижу, что SSM assistent делает простой запрос "select * from table", возникает вопрос, почему от SSM Assistent получение данных из MySQL и их запись в MS SQL занимает около часа, а в моем примере всё занимает сутки и больше, ведь логика получения/вставки данных идентична.
    – zerxa
    8 сен в 14:48
  • Что бы выполнить предложение offset в запросе mysql вынужден сначала перебрать все предыдущие записи с целью их посчитать. Т.е. внутри под капотом при limit 500 offset 1000000 с диска получаются 1000500 записей, из которых первый миллион выбрасывается и возвращается остаток
    – Mike
    8 сен в 16:21

0

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Посмотрите другие вопросы с метками или задайте свой вопрос.