0

Переезжаем с сервера mssql на postgresql. Я делаю это все с помощью этого кода, все работает, но жутко медленно....

За 24! часа скопировало около половины, да и вроде не много там строк, да таблица большая, есть блоб поле, всего полей 40, размер таблицы около 300к строк (~2.5гб)

Может есть способ ускорить процесс? или это нормально? может изза индексов? как то можно их временно отключать? комп уже сутки пашет вставляя записи, сам скрипт завис, но вставка идет, я вижу что растет размер базы...

conn_mssql = pymssql.connect(server='127.0.0.1', database='...')
cursor_mssql = conn_mssql.cursor()

conn_pg = psycopg2.connect(database="..", user="...", password="..", host="127.0.0.1", port="5432")
cursor_pg = conn_pg.cursor()
print "Opened database successfully"

l = ["тут список полей"] 
cursor_mssql.execute('SELECT TOP 333333 * FROM "....."."documents";')
row = cursor_mssql.fetchone()
while row:
    # .... тут обработка записей, формирование списка vals
    sql = """ INSERT INTO "documents" (%s) VALUES (%s); """ 
    print sql
    # вот сама вставка
    cursor_pg.execute(sql, vals)
    # берем следующую сроку из MSSQL
    row = cursor_mssql.fetchone()

conn_mssql.close()
# подтверждаем записи
conn_pg.commit()
conn_pg.close()
4
  • Судя по описанию, драйвер в питоне производит компиляцию каждого запроса отдельно. так что быстро с помощью этого драйвера не выйдет. хотя в документации есть initd.org/psycopg/docs/extras.html#fast-execution-helpers Надо смотреть как оно работает. В большизстве других языков можно явно отдельно делать prepare перед циклом и внутри только execute, что значительно ускоряет работу. Еще можно попробовать формировать запросы вставляющие группы строк: insert ... values(%s),(%s),(%s),...
    – Mike
    24 фев 2018 в 13:44
  • так что возможно сымым быстрым способом окажется формирование файла с текстом inser и его выполнение утилитой командной строки psql (или передача команд ему на лету)
    – Mike
    24 фев 2018 в 13:49
  • ок, а какой лучше библиотекой пользоваться? правильно я понял, что тормозит процесс именно psycopg2? 25 фев 2018 в 10:06
  • тормозит компиляция запроса из текста, а ваша библиотека при каждом запросе это делает. И на сколько я понимаю для питона нет нормальных библиотек. Но по ссылке что я дал есть некий execute_batch думаю оно должно быть быстрее, там по крайней мере так написано
    – Mike
    25 фев 2018 в 10:33

0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Посмотрите другие вопросы с метками или задайте свой вопрос.