Сколько файлов можно безболезненно держать в одном каталоге в HDFS?
И как вообще они устроены? Я так понимаю, они виртуальны и существуют только для пользователя?
1 ответ
С одной стороны можно сказать, что количество файлов в HDFS ограничено только конфигурацией узла, на котором запущен демон NameNode. Количество же файлов в отдельном каталоге обусловлено уже ограничениями Java (на которой всё это и написано). Например, метод для получения файлов в каталоге возвращает массив, а, как известно, в одном массиве не может храниться более, чем Integer.MAX_VALUE элементов (что равно 231-1, и то, если на это хватит памяти).
В любом случае вместо кучи небольших файлов лучше держать в HDFS один большой, т.к. любой небольшой файл в HDFS всё равно занимает не менее одного блока (стоит ли из-за каждого файла в 10 Кбайт занимать на дисках по 64 Мбайт да ещё в трёх местах с учётом репликации?).
Подробнее об устройстве HDFS рекомендую почитать здесь: https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html.
-
Маленький файл(меньше размера блока) не занимает место на диске по размеру блока, он занимает столько, сколько он весит, т.е. файл 2 мб займет ровно 2 мб, а не размер блока в HDFS 23 мар 2017 в 10:58
-