0

Есть таблица с BATEA полем, в котором сжаты данные, xml файлы, Для экономии места. Тоесть выборка, их расжимаем и выдаем.

Но узнали что вроде как есть какой то TOAST тип поля, можно хранить данные в открытом виде, а postgres сам позаботиться об их сжатии.

Вот https://www.postgresql.org/docs/9.4/static/storage-toast.html

Подскажите как это создается? Так и не нашел примера, не могу понять как создать обычный текстовый столбец, но сжатый

CREATE TABLE "table" (
    "ID" INTEGER NOT NULL,
    "txt" TEXT TOAST ??????? , 
    PRIMARY KEY ("ID")
) 

1 ответ 1

3

TOAST это не тип данных. Вообще фактически это костыль. На нижнем уровне данные строки размещаются в 8кб блоках - страницах (в принципе, не обязательно 8кб, это опция времени компиляции - но ни разу не видел, чтобы её меняли). И строка данных целиком не может быть больше 8кб размером. Вообще не может, это hard-лимит. Но если пользователь хочет сохранить что-нибудь побольше - он может это сделать. При этом данные прозрачно для пользователя нарезаются на части и хранятся в отдельных служебных toast-таблицах. Попутно могут пытаться сжиматься - насколько помню, алгоритм сжатия там используется быстрый и не слишком хорошо сжимающий.

Это происходит полностью автоматически, единственная доступная настройка - возможно выбрать одну из 4 стратегий через ALTER TABLE SET STORAGE:

  • PLAIN запрещает компрессию и вынос в toast
  • EXTENDED разрешает и компрессию и вынос в toast таблицу
  • EXTERNAL запрещает сжатие, но разрешает хранить отдельно
  • MAIN разрешает сжатие, хранение данных отдельно от строки будет использовано только если ничего другого не помогает

Отдельно замечу, что нет настройки, требующей сжимать данные либо выносить в toast таблицу. Небольшие по объёму данные не будут ни сжиматься ни выноситься отдельно.

Насколько знаю, в toast могут выноситься все типы данных переменной длины: text, varchar, массивы, json, jsonb, xml, hstore и другие. Реализация типов данных на C знает про использование toast, поэтому не могу утверждать что toast используется для всех типов данных переменной длины, но как минимум для большинства - точно.

То есть если у вас используется bytea больше 2кб размером - у вас уже есть и используется toast. Будет ли родной алгоритм компрессии компактнее используемого сейчас у вас - сомневаюсь, но можете проверить экспериментально.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.