2

В компании решили реорганизовать систему хранения и обработки данных.

Суть вопроса: существует огромное количество машин, которые генерируют каждый день несколько файлов небольшого размера. Но в целом количество файлов за сутки превышает 100000. Структура файлов почти одинакова. И руководство хочет, чтобы эти файлы были объединены в один или базу данных и проанализированы на кластере Hadoop. Поскольку данные структурированные, логичнее всего анализ делать на Hive.

Как такие файлы можно объединить? Загружать все в hdfs и агрегировать там? Слишком долго - Hadoop на это не рассчитан.

Кто что посоветует? Желательно готовые решения.

3
  • Сильно долго будет само копирование или анализ? Для анализа можно теоретически посмотреть в сторону Spark поверх Hive к примеру
    – chubatiy
    4 мая 2018 в 7:35
  • В том то и дело что анализ долгий. Именно поэтому ищем какое то решение. А так можно было бы устроить загрузку файлов к примеру через Flume и анализировать их. 4 мая 2018 в 7:39
  • Можно посмотреть в сторону Filebeat, чтобы сливать содержимое файлов по мере поступления. 10 мая 2018 в 6:43

1 ответ 1

0

Неудивительно, что все медленно работает, Hadoop плохо подходит для обработки кучи мелких файлов - это создает нагрузку не только на Namenode,но и порождает кучу mapper'ов на каждый мелкий файл, и это давно известная проблема.

Решение одно: объединять маленькие файлы в большие. Для решения этой проблемы уже существует несколько инструментов, например - filecrash, вообще, данная проблема легко гуглится: hadoop small file problem.

P.S. Опять же,эта проблема актуальна,если вы используете фреймворк MapReduce,потому что Hive умеет работать не только поверх MapReduce,но и Tez,Spark итп.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.