7

Имеем:

  1. ~110 млн. файлов в директории
  2. Распределение на 4 вида документов, определяемых [typeId_числовая последовательность.расширение]
  3. Процентное распределение по typeId неизвестно
  4. Расширения или .xml или .sig
  5. Для каждого .xml есть аналогичный .sig
  6. Система - windows server 2016
  7. Суммарный объем директории порядка 7.5тб, занимаемых на диске
  8. Xenon Silver 4116
  9. 256 гб. оперативной памяти

Требуется: узнать количество документов конкретного typeId расширения .xml

Были попытки использования различных файловых менеджеров с применением регулярных выражений, но время выполнения запроса неадекватное: ~2 суток.

Попытки написание чекера файлов на kotlin / python не дали существенного прироста к поиску.

Отсюда вопрос - какой самый быстрый способ подсчитать количество такого рода документов?

upd (29.12.19):

Пока что самый быстрый способ - 15ч. 56м.

Финальное количество файлов 14623748

Объем - 2.4тб.

upd (30.12.19):

Метод: dir /S /B /a:-d > file_list.txt Скорость: ~4ч на формирование файла + парсинг файла

7
  • 3
    Есть ли возможность перевести все это на Linux? Или хотя бы раскидывать разные typeId в разные папки? 110 мил. файлов в одной директории - ненормальная ситуация. 29 дек 2019 в 10:38
  • Файлы только добавляются или удаляются тоже? 29 дек 2019 в 12:12
  • @Эникейщик Только добавляются. Но проблема добавления легче - адекватные небольшие объемы каждый день и подсчет и обработку оных можно сделать на лету. Решение этой задачи нужно для первого этапа 29 дек 2019 в 12:23
  • @MaxU вообще никак, к сожалению 29 дек 2019 в 12:24
  • 7
    @VladimirAfanasyev, если система должна как-то жить и развиваться, то ее надо срочно перепроектировать. Десятки тысяч (а тем более сотни миллионов) файлов в одном каталоге это абсолютно не работоспособно (впрочем, если это как-то связано с "законом Яровой", то лучше не трогайте, чем скорее загнется, тем лучше)
    – avp
    29 дек 2019 в 12:27

6 ответов 6

4
+50

Основной источник проблемы - огромное количество файлов в единственной директории.

Что можно попробовать сделать, чтобы ускорить поиск:

Первое, что я попытался бы сделать - это разнести файлы по разным директориям (если это возможно). А еще лучше перенести всю эту прелесть на Linux, разнести файлы по разным директориям и использовать XFS в качестве файловой системы.

Если ничего менять нельзя, то стоит сохранять метаданные о файлах в момент создания файлов. (Похожий пример на Python с использованием модуля watchdog).

Т.е. алгоритм действий примернор такой:

  1. Создать базу данных (желательно на удаленном сервере, чтобы распределить IO нагрузки)
  2. Создать таблицу с атрибутами файлов. Настоятельно рекомендую заранее продумать как чаще всего будет осуществляться поиск - по каким атрибутам. Скорее есть смысл парсить имя файла и хранить дополнительно typeId, числовая последовательность и расширение в отдельных столбцах таблицы для возможности наиболее эффективного и быстрого поиска. Поиск по регулярным выражениям в большинстве БД не поддерживает испольование индексов и будет работать гораздо медленнее обычного поиска по индексу.
  3. Отслеживаем системные события о создании (модификации) файлов в интересующей нас директории, сохраняем метаданные, парсим дополнительные данные для поиска и сохраняем все это в SQL таблицу.
  4. Далее поиск будет осуществляться по индекисрованным полям таблицы, что не должно превышать 1-3 секунд, если все сделать правильно.
  5. Разумеется для уже существующих файлов придестя один раз пропарсить всю информацию, что вероятно займет около 16 часов в вашем случае.

В качестве БД я бы посоветовал использовать бесплатные PostgreSQL или MySQL Community Edition (аналог - MariaDB) или их платные аналоги, если позволяет бюджет.

10
  • К сожалению, данные уже на дисках, поэтому не могу понять, как можно писать метаданные ПРИ СОЗДАНИИ. Также не могу понять, зачем разносить файлы, если они уже есть, так как перенос в любом случае переберет все документы при переносе же, нет? 29 дек 2019 в 11:58
  • @VladimirAfanasyev, у вас набор файлов статичный - никаких изменений не будет? 29 дек 2019 в 12:00
  • 2
    Если сделать, как советует @MaxU, у вас можно будет -параллельно делать дамп списка файлов в разных папках. Использовать бонусы XFS в виде аснихронного доступа к метаданным, XFS листится намного быстрее NTFS
    – gbg
    29 дек 2019 в 12:01
  • @MaxU будет дообновление, но дообновление будет уже по новой структуре и данных будет достаточно мало (в сравнении) 29 дек 2019 в 12:25
  • @VladimirAfanasyev, тогда я не понимаю суть вопроса. Вы уже несколько раз (как минимум два раза) перечитали все данные о файлах - сохраните метаданные и ищите по сохраненным метаданным. Можете уточнить суть вопроса? 29 дек 2019 в 12:27
1
import os

path = r"путь/к/папке"    
total = 0
typeID = "blabla"
for file in os.listdir(path):
    if file.startswith(typeID) and file.endswith(".xml"):
        total = total + 1
print(total)

На папке в 110 тысяч файлов работает меньше 0,1 секунды.

Если гарантировано, что на каждый xml всегда есть sig, то можно расширение не проверять, а конечный результат потом разделить на 2

for file in os.listdir(path):
    if file.startswith(typeID):
        total = total + 1
print(total >> 1)

Upd. Проверил на 600 тыщ файлов: 0,40-0,45 сек.

9
  • Мне лень проверять, но что если взять os.scandir?
    – andreymal
    27 дек 2019 в 7:54
  • @andreymal Проверил. На 600к получается чуток медленее (на 4-8 сотых секунды, т.е. 10-15%). А glob.glob так и вообще в три раза медленнее. 27 дек 2019 в 9:01
  • Выполняется уже 7 часов, все еще не подсчиталось 27 дек 2019 в 14:45
  • @VladimirAfanasyev Хм, это долго. Может быть, имеет смысл спросить на Super User SE. 27 дек 2019 в 15:00
  • @Эникейщик Вашим способом заняло 15ч:56м. По итогу получилось 14623748 файлов. Хочу через день (когда станет возможным) объявить конкурс на вопрос, может так побольше людей вовлечется) 27 дек 2019 в 23:53
1

Поверхностная рекомендация.

Попробуйте спуститься на уровень ниже файловой системы - желательно вообще выйти и за пределы ОС - там где нет системных прерываний и соответствующих издержек. Если кусками загружать в ОЗУ raw-фрагменты HDD (пока не известно, в каком виде у вас эти 8 тб) и парсить typeId, уже будет существенный прирост скорости.

Можно пойти дальше, уточнив, что за файловую систему вы используете, выяснить, как в ней представлена мета-информация о файлах, вытянуть её (в теории несколько десятков мегабайт) и пройтись по сущностям.

5
  • Что значит "не известно, в каком виде у вас эти 8тб."? Как я могу уточнить этот вопрос? Точнее, в каком формате на него правильно ответить? Файловая система - NTFS. Обычное размещение на HDD на сервере 28 дек 2019 в 23:34
  • Есть распределенные ФС, в которых обработать весь массив файлов в единственном месте проблематично. В случае с NTFS известен формата мета-данных - en.wikipedia.org/wiki/NTFS#Metafiles, также существуют утилиты для работы с ней - github.com/Dijji/FileMeta
    – AseN
    28 дек 2019 в 23:39
  • Извиняюсь, возможно, за некорректный вопрос, но существующий raid на сервере на это не влияет? 28 дек 2019 в 23:42
  • Над raid`ом абстракция в виде NTFS, потери по скорости будут зависеть от raid-контроллера. Не хочу соврать, но при таком сценарии просадка должна быть минимальной. В любом случае, к raw-виду хранилища доступ будет. Посмотрите в сторону этого инструмента - tzworks.net/prototype_page.php?proto_id=12
    – AseN
    29 дек 2019 в 0:04
  • 1
    @VladimirAfanasyev увы, наличие ФС портит все удовольствие тем, что перебирать файлы удается только один-за-одним - распараллелить чтение не удается. Так что быстрее всего, действительно, снять теневую копию с MFT и распарсить. Скорость будет - несколько десятков секнуд.
    – gbg
    29 дек 2019 в 11:59
1

Рекомендую попробовать через PowerShell выполнить следующие команды.

Получение списка файлов:

$typeID=1337
ls $typeID*.xml > files.txt

Если нужны определенные свойства, например, название и размер:

ls $typeID*.xml | ft -Property Name, Length > files.txt

Непосредственно для подсчёта количества файлов:

(ls $typeID*.xml).Count

PowerShell достаточно хорошо оптимизирован и встроен в систему, поэтому данные команды должны выполняться быстро.

0

Имеем: директорию ./source со 110+ миллионов файлов.

  1. Создаём директорию ./sorted
  2. Пишем скрипт который проходится по ./source и перемещает файлы оттуда в под-директории ./sorted/{typeId}
  3. Запускаем первый раз и долго ждём. Получаем ./sorted с примерно 28 миллионов папок.
  4. Вешаем этот же скрипт на крон выполняться например раз в минуту.
  5. После этого ищем гораздо быстрее проверяя наличие директории ./sorted/{typeId} (На питоне: os.path.exists('./sorted/{typeId}')) и если нужно перебирая и считая файлы только в этой директории, а если не найдено перебираем файлы в папке ./source где их должно быть мало так как там будут только новые за последнюю минуту (если скрипт по крону работает). Должно искаться за миллисекунды.
-2

А я вот предлагаю зайти с другой стороны. 110 млн файлов в папке - это может и не очень нормально, но радикальных проблем создавать не должно. Вся операция заключается в тривиальном пробегании по таблице файлов, что даже с наивной реализацией посредством FindFirstFile / FindNextFile должна обрабатывать порядка миллионов файлов в секунду (а если заблаговременно проиндексировать, то операция будет моментальная). Если ваш сервер так на ней залипает, то с ним что-то не в порядке. Так что вам явно стоит проверить диски на предмет здоровья, а саму систему - на наличие проблемного ПО (антивирусы, фильтры ФС, прочие зловреды).

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.