1

Дано:

  • БД с таблицей в 60 тысяч записей (MySQL).
  • MySQL крутится под XAMPP (MacOS).
  • SQL-файл c 20 тысячами SQL-запросами (UPDATE) по одному в каждой строке.
  • Запросы вариативные: иногда просто перенос из колонки в колонку, иногда с делением на несколько колонок, иногда с корректурой текста.
  • Текстовые поля неиндексированные.

Примеры запросов (отформатировал для того, чтобы читалось легче):

UPDATE tab1 
   SET foo = '', 
       bar = 'Lorem ipsum dolor sit amet', 
       baz = 'Consectetur adipisicing elit' 
 WHERE foo LIKE 'Lorem ipsum dolor sit amet, consectetur adipisicing elit...';

Нужно каким-либо образом эти самые запросы выполнить.

Сначала я хотел импортировать файл через PhpMyAdmin. Процесс умирает по таймауту, поэтому импорт через PhpMyAdmin - не вариант.

Накатал на коленке питоновский скрипт (который - в отличие от PHP - не умирает по временному ограничению) и прошелся по SQL-файлу построчно, выполняя запросы один за другим.

import mysql.connector

cnx = mysql.connector.connect(user='user', password='pswd', host='127.0.0.1', database='db')

cursor = cnx.cursor()

file = open('defs_update.sql', encoding='utf-8')

for line in file:
    cursor.execute(line)

cursor.close()
cnx.close()
file.close

Все обновилось. Задача решена, однако вопрос времени меня смущает очень сильно. Предположим, речь шла бы не о соотношении 20k к 60k, а о соотношении 300m к 900m - я боюсь даже представить сколько времени для этого потребуется, если здесь понадобилось около 40 минут.

Есть ли способы выполнить множественные запросы из файла быстрее?

UPD (в комментарии не помещается). К сути вопроса отношения не имеет, поскольку выгоды по времени нет.

При запуске через терминал командой

mysql -p db < updates.sql

ничего не произошло. Логи не ведутся, поэтому показать нечего. Однако если выполнить в MySQL Query Browser команду

source updates.sql

в терминал начинает выводится простыня вот таких сообщений:

Query OK, 0 rows affected (0,20 sec)
Rows matched: 0  Changed: 0  Warnings: 0

При выполнении ровно тех же команд через PhpMyAdmin вижу, что строки обновлены:

UPDATE tab1 SET ... # Затронуто строк: 1.
1
  • Может какие-то фокусы с пользователем, его схемой базы и т.п. ?
    – avp
    5 янв 2014 в 19:56

2 ответа 2

6

простите, даже боюсь поинтересоваться: а зачем выполнять sql построчно? Одним разом почему бы и не? Что-то вроде mysql -u user -ppassword db < dump.sql

8
  • Сделал так. Минут сорок в терминале ничего не происходило, при том что СУБД что-то делала (судя по усилившемуся шуму из системника). А в итоге - ничего не изменилось. И никаких алертов/варнингов не вывалилось. Скормил тот же файл Питону - запросы выполнились. P.S. Поскольку в файле очень много запросов на обновление текстовых неиндексированных полей, говорить о выполнении одним разом - не совсем корректно. В любом случае каждый последующий запрос не будет выполняться раньше, чем будет отработан предыдущий. Python ли, обращение ли к MySQL из терминала - по времени одинаково. 5 янв 2014 в 8:20
  • простите, очень хочется это увидеть 5 янв 2014 в 8:22
  • Мне и самому этот вариант кажется самым очевидным. И очень хочется знать, что пошло не так. Однако - ни алертов, ни изменений. 5 янв 2014 в 11:06
  • не может быть, чтобы совсем молчание. А в логах что? 5 янв 2014 в 11:19
  • 2
    @Denis Khvorostin, возможно Вы уже читали Increasing performance of bulk updates of large tables in MySQL. Если нет, посмотрите. Мне кажется, там есть здравые мысли. -- Вообще же, следует понимать, что (при всех неубиваемых плюсах) любая СУБД штука не слишком шустрая.
    – avp
    5 янв 2014 в 18:04
1

В PhpMyadmin есть галочка "Разрешить скрипту разбивать процесс импорта при приближении временного лимита. (Может быть использовано при импорте файлов большого размера, однако при этом вероятны проблемы с транзакциями.)"

По сути вопроса про питон: объедини запросы в транзакцию и коммить её каждую тысячу строк.

5
  • не нужно разбивать на пачки по тысячу запросов. Просто в самом начале открыть транзакцию (выполнить запрос "BEGIN;") а в самом конце - закрыть ("COMMIT"). Скорость увеличиться в сотни раз. Можно и в сам файл добавить.
    – KoVadim
    4 янв 2014 в 16:28
  • Мне кажется все зависит от рода данных в этом файле. большие транзакции могут нехило скушать памяти на сервере.
    – eri
    5 янв 2014 в 0:30
  • Это не радостно - разбивать процесс импорта. В итоге приходится следить за процессом, ожидая, пока он отвалится, чтобы вновь загрузить файл. Собственно, этот процесс меня сильно напряг и я обратился к Питону. 5 янв 2014 в 8:22
  • @eri, @KoVadim, begin/commit не дали никакого выигрыша по времени. Сильно подозреваю, что в данном случае имеет смысл оптимизировать саму базу данных. 5 янв 2014 в 8:24
  • @Denis Khvorostin, вероятно нужно еще SET autocommit=0... Ну и вообще про Bulk Data Loading почитать. Там множество нюансов, как можно ускорить. И выгрузка может/должна быть определенная и загрузка при определенных настройках, зависит от сервера и т.д. 5 янв 2014 в 15:38

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.