1

В библиотеке ZLib есть функция CompressBuf, часть её кода ниже:

procedure CompressBuf(const InBuf: Pointer; InBytes: Integer;
                      out OutBuf: Pointer; out OutBytes: Integer);
...
begin
  ...
  OutBytes := ((InBytes + (InBytes div 10) + 12) + 255) and not 255; {*}
  GetMem(OutBuf, OutBytes);  
  try
    ...
      while CCheck(deflate(strm, Z_FINISH)) <> Z_STREAM_END do begin {**}
        P := OutBuf;
        Inc(OutBytes, 256);
        ReallocMem(OutBuf, OutBytes);
        ...
end;

Как я понимаю, строка {*} определяет размер выходного буфера, с учётом того что данные могут оказаться несжимаемыми и результат сжатия окажется больше исходных данных. Однако, как следует из блока {**} - даже этот размер является первым приближением и могут быть случаи, когда размер сжатых данных окажется ещё больше.

В связи с этим у меня есть вопрос: возможно кто-нибудь знает как рассчитать [оптимальный*] размера буфера OutBytes, который необходимо выделить чтобы в него гарантированно поместился выход deflate() от любых входных данных, размером InBytes?

[*] оптимальный - это необязательно минимальный (хотя хотелось бы), но разумный. Т.е. чтобы не выделять InBytes*2, если, например, гарантированно хватит InBytes*1.25.

7
  • Для любых данных - нет такого значения. Для текста это одно значение, для изображений второе, для звука третье. Для "несжимаемых" данных вообще не имеет смысла. 7 дек 2017 в 8:03
  • 1
    Зачем вам это? Вы в любом случае на выходе получите буфер нужного размера. 7 дек 2017 в 8:05
  • @kot-da-vinci, затем что мне придётся вызывать deflate() часто и из нескольких потоков, поэтому я хочу просто заранее выделить каждому их них входной/выходной буфер и не выделять/освобождать память каждый раз. CompressBuf мне не нужна, она тут только как иллюстрация к моему вопросу.
    – Alekcvp
    7 дек 2017 в 8:17
  • 1
    заранее выделить каждому их них входной/выходной буфер - я правильно понимаю, что вы собираетесь модифицировать код ZLib? Потому что модификатор out как бы не предполагает выделение памяти заранее, она будет выделена внутри метода CompressBuf
    – kami
    7 дек 2017 в 9:14
  • @kami, я свои аналоги использую.
    – Alekcvp
    7 дек 2017 в 9:37

1 ответ 1

2

В общем спасибо всем, кто не смог понять в чём заключается вопрос. Нашёл этот документ, из которого следует:

In the worst possible case, where the other block types would expand the data, deflation falls back to stored (uncompressed) blocks. Thus for the default settings used by deflateInit(), compress(), and compress2(), the only expansion is an overhead of five bytes per 16 KB block (about 0.03%), plus a one-time overhead of six bytes for the entire stream. Even if the last or only block is smaller than 16 KB, the overhead is still five bytes.

Т.е. получается что для любого входного буфера, размером InSize будет достаточно выходного буфера, размером InSize + (InSize shr 14) * 5 + 11, при условии что используются флаги Z_SYNC_FLUSH,Z_FULL_FLUSH или Z_FINISH (т.е. не остаётся сжатых данных от предыдущих вызовов deflate).

2
  • А почему у вас в конце + 11, если сказано, что overhead of six bytes?
    – zed
    7 дек 2017 в 21:51
  • Потому что еще +5 от неполного блока данных (последнего).
    – Alekcvp
    8 дек 2017 в 2:46

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.