Дано:
- БД с таблицей в 60 тысяч записей (MySQL).
- MySQL крутится под XAMPP (MacOS).
- SQL-файл c 20 тысячами SQL-запросами (UPDATE) по одному в каждой строке.
- Запросы вариативные: иногда просто перенос из колонки в колонку, иногда с делением на несколько колонок, иногда с корректурой текста.
- Текстовые поля неиндексированные.
Примеры запросов (отформатировал для того, чтобы читалось легче):
UPDATE tab1
SET foo = '',
bar = 'Lorem ipsum dolor sit amet',
baz = 'Consectetur adipisicing elit'
WHERE foo LIKE 'Lorem ipsum dolor sit amet, consectetur adipisicing elit...';
Нужно каким-либо образом эти самые запросы выполнить.
Сначала я хотел импортировать файл через PhpMyAdmin. Процесс умирает по таймауту, поэтому импорт через PhpMyAdmin - не вариант.
Накатал на коленке питоновский скрипт (который - в отличие от PHP - не умирает по временному ограничению) и прошелся по SQL-файлу построчно, выполняя запросы один за другим.
import mysql.connector
cnx = mysql.connector.connect(user='user', password='pswd', host='127.0.0.1', database='db')
cursor = cnx.cursor()
file = open('defs_update.sql', encoding='utf-8')
for line in file:
cursor.execute(line)
cursor.close()
cnx.close()
file.close
Все обновилось. Задача решена, однако вопрос времени меня смущает очень сильно. Предположим, речь шла бы не о соотношении 20k к 60k, а о соотношении 300m к 900m - я боюсь даже представить сколько времени для этого потребуется, если здесь понадобилось около 40 минут.
Есть ли способы выполнить множественные запросы из файла быстрее?
UPD (в комментарии не помещается). К сути вопроса отношения не имеет, поскольку выгоды по времени нет.
При запуске через терминал командой
mysql -p db < updates.sql
ничего не произошло. Логи не ведутся, поэтому показать нечего. Однако если выполнить в MySQL Query Browser команду
source updates.sql
в терминал начинает выводится простыня вот таких сообщений:
Query OK, 0 rows affected (0,20 sec)
Rows matched: 0 Changed: 0 Warnings: 0
При выполнении ровно тех же команд через PhpMyAdmin вижу, что строки обновлены:
UPDATE tab1 SET ... # Затронуто строк: 1.