Есть задача по обработке и преобразованию файлов. Все файлы представляют собой аналог CSV(текст с разделителями)
- дано два или более файлов. Необходимо "склеить" их по некоторым полям и выдать уже один, обработанный файл
- дан один файл. Необходимо выполнить преобразование полей, склейку из нескольких строк в одну и т.д. и тоже выдать один, обработанный файл.
Проблема в том, что единой структуры файлов нет. Т.е. файлы/пары файлов могут быть различны по полям/структуре
На данный момент идея по такой обработке таких файлов только одна:
- Грузим файл/файлы в некую БД(in-memory, к примеру), предварительно в runtime прочитав структуру файла - создаем таблицы по структуре
- Выполняем некий SQL скрипт, на основании результатов которого формируем выходной файл
Вопрос: может есть какие-то наработанные алгоритмы/библиотеки по подобному преобразованию/обработке, чтобы не городить "велосипед"?
UPD: чтобы избежать привязки к структуре, конечно можно использовать некую NoSql, но тогда лишимся полноценной силы SQL