Имеется база данных MySQL. Мне необходимо получать из неё данные и переносить в базу данных MS SQL. Делаю я это с помощью Python. В таблице порядка 30 миллионов записей с большим количеством столбцов. Пробовал получить все записи целиком, но столкнулся с проблемой нехватки ОЗУ и файла подкачки, который вырос до 250GB.
Соответственно было решено разбить получение данных из таблицы на небольшие запросы (в моем текущем случаи на 500.
Я получаю общее кол-во записей в таблице, а после исходя из них в цикле строю SQL запрос:
SELECT * FROM [таблица] LIMIT 500 OFFSET [последнее значение с которого начинаю новую операцию]
. Всё работает, но возникает проблема со скоростью работы MySQL. Каждый последующий запрос медленнее предыдущего, если первые 500 записей я получаю за долю секунды, то SELECT * FROM [таблица] LIMIT 500 OFFSET 1000000
я получаю уже за 3-4 минуты, от чего время выполнения растягивается на недели.
Каким путем я могу оптимизировать свой довольно простой и долгий SQL запрос получения записей "от" и "до"? PS - при всем этом диск, ОЗУ и CPU не загружаются на максимум.
Пробовал многопоточность, чтобы каждый поток получал свои записи:
- записи от 500 до 1000
- записи от 1000 до 1500
- записи от 1500 до 2000
..и т.д на все потоки
При SELECT * FROM information_schema.processlist;
я вижу результат получения нужных данных, но данный подход особо не ускорил работу.
where orderNum >= 501 and orderNum <=1000
. Если если есть ID целочисленный, то логичнее использовать его.SSM Assistent for MySQL
в SQL SERVER и обратно. Он работает куда быстрее моего варианта. В MySQL запросах я вижу, что SSM assistent делает простой запрос "select * from table", возникает вопрос, почему от SSM Assistent получение данных из MySQL и их запись в MS SQL занимает около часа, а в моем примере всё занимает сутки и больше, ведь логика получения/вставки данных идентична.