Имеем:
- ~110 млн. файлов в директории
- Распределение на 4 вида документов, определяемых
[typeId_числовая последовательность.расширение]
- Процентное распределение по
typeId
неизвестно - Расширения или
.xml
или.sig
- Для каждого
.xml
есть аналогичный.sig
- Система - windows server 2016
- Суммарный объем директории порядка 7.5тб, занимаемых на диске
- Xenon Silver 4116
- 256 гб. оперативной памяти
Требуется: узнать количество документов конкретного typeId
расширения .xml
Были попытки использования различных файловых менеджеров с применением регулярных выражений, но время выполнения запроса неадекватное: ~2 суток.
Попытки написание чекера файлов на kotlin / python не дали существенного прироста к поиску.
Отсюда вопрос - какой самый быстрый способ подсчитать количество такого рода документов?
upd (29.12.19):
Пока что самый быстрый способ - 15ч. 56м.
Финальное количество файлов 14623748
Объем - 2.4тб.
upd (30.12.19):
Метод: dir /S /B /a:-d > file_list.txt
Скорость: ~4ч на формирование файла + парсинг файла