3

нужно разместить много строк на диске (win, NTFS), сейчас 30млн., будет > 500млн., решил использовать стандартную схему: md5 от имени файла, разбить на части и разложить по папкам. Проблема возникла в скорости на этапе тестов (при рекурсивном обходе скриптом). Пробовал на 32 подпапки - очень медленно, более или менее подходит на 8 (если я верно посчитал, выйдет максимум 16^8 = ~4млрд. файлов и по 16^4 = 65536 на папку), но это по прежнему очень медленно, если уменьшить вложенность (в 2 раза меньшая вложенность сокращает время в 2 раза) то на 1 папку будет приходиться много файлов. Вопросы: 1. оптимизирует ли со временем винда структуру папок или скорость останется такой же, как после записи 2. есть ли влияние индекса на скорость рекурсивного обхода папок (галочка в свойствах диска) 3. может есть альтернативный вариант размещения файлов?

8
  • Можно нескромный вопрос? А что ты собираешься хранить и почему на винде?
    – don Rumata
    14 фев 2019 в 20:53
  • @don Rumata Хранить планирую ссылки, линукс не знаю, поэтому на винде. Ссылки постоянно меняются, перезаписывать 1Гб из-за пары изменений... диски не казённые в общем (проект для личных нужд). Сейчас всё хранится в больших файлах и их полная перезапись каждые 10ч. не радует, хотелось бы оптимизировать 14 фев 2019 в 21:44
  • Я бы на твоём месте попробовал JFS. Судя по её описанию и по твоим запросам - как раз то, что тебе надо.
    – don Rumata
    14 фев 2019 в 22:35
  • @don Rumata слишком радикально, комп 1. проект для себя, линукс НЕ ЗНАЮ, мне проще как есть оставить и забить на перезапись 14 фев 2019 в 23:26
  • Тогда exFAT можно попробовать, но он немного не про это.
    – don Rumata
    15 фев 2019 в 6:51

1 ответ 1

0

в общем вопрос был не очень корректным, под млн. подразумевались скорее строки. Решение вижу таким: 1 вложенность папок в 4 символа, т.е. dfty/файлы, что даст 65536 папок на папку и 65536 файлов в каждой папке * 100 (в файле по 100 доменов) = 65536^2*100 т.е. в 100 раз больше моих запросов и без проблем с производительностью, схема в процессе реализации, но думаю проблем не будет

1
  • А зачем, собственно, хранить эти строки?
    – pepsicoca1
    17 фев 2019 в 4:38

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.