В компании решили реорганизовать систему хранения и обработки данных.
Суть вопроса: существует огромное количество машин, которые генерируют каждый день несколько файлов небольшого размера. Но в целом количество файлов за сутки превышает 100000. Структура файлов почти одинакова. И руководство хочет, чтобы эти файлы были объединены в один или базу данных и проанализированы на кластере Hadoop. Поскольку данные структурированные, логичнее всего анализ делать на Hive.
Как такие файлы можно объединить? Загружать все в hdfs и агрегировать там? Слишком долго - Hadoop на это не рассчитан.
Кто что посоветует? Желательно готовые решения.