1

Имеется запрос(PostrgreSQL 9.5) вида:

'COPY(SELECT * FROM table) TO STDOUT WITH CSV HEADER'.

Справляется отлично и импортит красиво в таблицу все данные. Появилось мнение, что данная операция является не оптимизированной за счёт COPY. Каких-либо аргументов почему я не услышал. Отсюда вытекает, что требуется сделать точно такой же запрос, но без COPY,

т.е. вида 'SELECT FROM * table TO STDOUT WITH CSV HEADER', но это не работает.

2
  • 1
    "Появилось мнение, что данная операция является не оптимизированной". Не надо полагаться на какие либо мнения без доказательств. А ваш ответ если даже copy "не оптимизарована" ничем не помогает, так как в той прямо статье написано, что \copy является оболочкой для copy, т.е. использует ее же. И да, с внешними файлами ничего кроме самой copy работать не может, потому как сам SQL ничего не знает о внешних файлах и знать не должен
    – Mike
    Commented 22 дек. 2018 в 12:03
  • Такой человек, у которого есть только мнение и отрицание документации и книг. Проблема в том, что я нахожусь в его подчинении. Всё приходиться проверять. Я сослался на статью, если кому-то интересны подробности про COPY, пласт текста переписывать не хотел. Commented 22 дек. 2018 в 12:21

2 ответа 2

5

Именно COPY TO STDOUT и весьма не случайно использует штатная утилита pg_dump для получения данных. А ведь для операции снятия дампа время работы является весьма важной характеристикой. Сама команда COPY и отдельный сетевой протокол для него специально были спроектированы для эффективной передачи массива данных потоком:

  • как в направлении импорта в базу новых данных - разница по сравнению даже с prepared insert и commit пачками всё равно может быть значительной и именно COPY рекомендуется официально в документации

Note that loading a large number of rows using COPY is almost always faster than using INSERT, even if PREPARE is used and multiple insertions are batched into a single transaction.

  • так и в направлении экспорта данных из базы. Даже есть не рассматривать COPY в локальный файл напрямую силами PostgreSQL (что вовсе исключает нагрузку на сеть), copy to stdout имеет все шансы оставаться наиболее производительным вариантом. Как уже упомянул, для реализации COPY используется во многом другой код, начиная с отличающегося сетевого протокола, намеренно спроектированного для передачи больших объёмов данных.

The COPY command allows high-speed bulk data transfer to or from the server.


Но если оппонент не читает документацию, то с чего ему слушать кого-то неизвестного в интернете, пусть даже опытного PostgreSQL DBA и автора вот уже нескольких патчей?

Замерьте на своей задаче и покажите результаты сравнения.

1
  • Ух, вот это крутой ответ) У меня нет скрипта и доступа к машине, где это будет использоваться в данный момент, и вряд ли снова получу. Думаю, я вам поверю. Commented 26 дек. 2018 в 12:51
0

Ответ нашёлся. Команду COPY можно слегка улучшить заменив на \copy(под капотом всё равно идёт вызов COPY), но целиком убрать нельзя. Обе команды позволяют задать формат для выгрузки данных (text, csv, binary), что SELECT не позволяет. Подробнее об особенностях каждой из команд в статье.

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.