Есть репозиторий статических файлов, доступный только по http. Файлы постоянно меняются. Пытаюсь создать зеркало. Запускаю скрипт:
wget \
--mirror -R "index.html*" \
--exclude-directories=$ExclDir \
-P /mnt/mirror/ \
--append-output=/var/log/wget.log \
http://10.3.128.249/
На первом же большом файле (3.7 Гб) wget падает и выдает "wget: не хватает памяти". Выяснил, что при копировании большого файла на 99% wget начинает отъедать оперативу (её 2 Гб), и отъев всю, что имеется, падает.
Как победить?
P.S.: Создал контейнер с такими же параметрами (2 Гб RAM, 50 Гб под корень), всё загружается без ошибок.
wget
не должен так делать — звучит как баг... если файл загружать одиночно, то он нормально грузится? и случаем не в tmpfs загружаешь? swap на тачке есть?