Попробовал сжимать "Войну и Мир" (отсюда)
$ 7za a -mm=deflate -mx9 -- war_and_peace.txt.deflate.7z
$ 7za a -mm=bzip2 -mx9 -- war_and_peace.txt.bz2.7z war_and_peace.txt
$ 7za a -mm=lzma2 -mx9 -- war_and_peace.txt.lzma2.7z war_and_peace.txt
$ 7za a -mm=ppmd -mx9 -- war_and_peace.txt.ppmd.7z war_and_peace.txt
$ dir
1 473 547 war_and_peace.txt
577 577 war_and_peace.txt.deflate.7z
481 030 war_and_peace.txt.lzma2.7z
445 240 war_and_peace.txt.bz2.7z
391 270 war_and_peace.txt.ppmd.7z
Видно, что PPMd самый эффективный на "Войне и Мире".
За ним идет BZ2, потом LZMA2 и Deflate.
Попробовал cmix. Он действительно жрет 36 Гб памяти и сжимал 43 минуты.
$ cmix -c war_and_peace.txt war_and_peace.txt.cmix
1473547 bytes -> 348461 bytes in 2633.81 s.
cross entropy: 1.892
У него еще есть режим со словарем (орфоргафическим), но в комплекте идет только словарь из ~45 тыс. английских слов.
Впрочем это довольно старые и широко известные алгоримы. Возможно существует что-то другое, более подходящее для текстов которые надо сживать автору вопроса.
Мне нечего было делать, и я разбил "Войну и Мир" по словам и закодировал их Хаффманом. Получилось 444Кб не считая таблицу. Т.е. это была плохая идея.
>>> text = open(r'c:\_tmp\war_and_peace.txt', 'rb').read().decode('cp1251')
>>> import re
>>> words = re.findall(r'(\w+|.)', text)
>>> len(text), len(words)
(1473547, 534395)
>>> def huffman_table(symbols):
import collections
freq = collections.defaultdict(int)
for s in symbols: freq[s] += 1
roots = [(f,[(s,'')]) for s,f in freq.items()]
while True:
roots.sort()
(f0,t0),(f1,t1),tail=roots[0],roots[1],roots[2:]
table=[(s,'0'+c) for s,c in t0]+[(s,'1'+c) for s,c in t1]
if len(tail) == 0:
return dict(table)
roots = tail+[(f0+f1,table)]
>>> table = huffman_table(words)
>>> len(table)
35421
>>> def huffman_encode(symbols, table):
buffer = ''
out = bytearray()
for s in symbols:
buffer += table[s]
while len(buffer) >= 8:
b, buffer = buffer[:8], buffer[8:]
out.append(int(b, 2))
size = len(out)*8+len(buffer)
if len(buffer) != 0:
out.append(int(buffer, 2))
return out, size
>>> encoded, size_bits = huffman_encode(words, table)
>>> size_bits/8
454533.75