нужно разместить много строк на диске (win, NTFS), сейчас 30млн., будет > 500млн., решил использовать стандартную схему: md5 от имени файла, разбить на части и разложить по папкам. Проблема возникла в скорости на этапе тестов (при рекурсивном обходе скриптом). Пробовал на 32 подпапки - очень медленно, более или менее подходит на 8 (если я верно посчитал, выйдет максимум 16^8 = ~4млрд. файлов и по 16^4 = 65536 на папку), но это по прежнему очень медленно, если уменьшить вложенность (в 2 раза меньшая вложенность сокращает время в 2 раза) то на 1 папку будет приходиться много файлов. Вопросы: 1. оптимизирует ли со временем винда структуру папок или скорость останется такой же, как после записи 2. есть ли влияние индекса на скорость рекурсивного обхода папок (галочка в свойствах диска) 3. может есть альтернативный вариант размещения файлов?
1 ответ
в общем вопрос был не очень корректным, под млн. подразумевались скорее строки. Решение вижу таким: 1 вложенность папок в 4 символа, т.е. dfty/файлы, что даст 65536 папок на папку и 65536 файлов в каждой папке * 100 (в файле по 100 доменов) = 65536^2*100 т.е. в 100 раз больше моих запросов и без проблем с производительностью, схема в процессе реализации, но думаю проблем не будет
JFS
. Судя по её описанию и по твоим запросам - как раз то, что тебе надо.exFAT
можно попробовать, но он немного не про это.