1

Сколько файлов можно безболезненно держать в одном каталоге в HDFS?
И как вообще они устроены? Я так понимаю, они виртуальны и существуют только для пользователя?

1 ответ 1

1

С одной стороны можно сказать, что количество файлов в HDFS ограничено только конфигурацией узла, на котором запущен демон NameNode. Количество же файлов в отдельном каталоге обусловлено уже ограничениями Java (на которой всё это и написано). Например, метод для получения файлов в каталоге возвращает массив, а, как известно, в одном массиве не может храниться более, чем Integer.MAX_VALUE элементов (что равно 231-1, и то, если на это хватит памяти).

В любом случае вместо кучи небольших файлов лучше держать в HDFS один большой, т.к. любой небольшой файл в HDFS всё равно занимает не менее одного блока (стоит ли из-за каждого файла в 10 Кбайт занимать на дисках по 64 Мбайт да ещё в трёх местах с учётом репликации?).

Подробнее об устройстве HDFS рекомендую почитать здесь: https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html.

2
  • Маленький файл(меньше размера блока) не занимает место на диске по размеру блока, он занимает столько, сколько он весит, т.е. файл 2 мб займет ровно 2 мб, а не размер блока в HDFS 23 мар 2017 в 10:58
  • @АндрейГородецкий вообще да, с этим я что-то погорячился :) 23 мар 2017 в 11:58

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.