1

Нужно придумать систему распределения большого количества загруженных файлов на диске. В голову пока пришел только 1 способ.

Возьмем все по максимуму. На сервере 12 терабайт места. Возьмем средний вес картинки 1 мб. В среднем на 1 такой сервер влезет ~12 млн. картинок.

Имя картинки будет случайной строкой md5. Режем первые 4 символа от названия и делаем вложенность. 1символ/2символ/3символ/4символ/название.jpg В общей сумме у нас получится (16 * 16 * 16 * 16) - (16 * 16 * 16) = 61440 каталогов 4 уровня (в которых и будут хранится файлы). Статистически в каталоге будет ~200 файлов, но в среднем файлы распределятся по 100 - 1000 в каталоге.

В первое время загрузка будет осуществляться на 1 сервер, но со временем файлы будут грузится рандомно, на все свободные в данный момент сервера.

Вопросы:

Схема, которую я описал, сработает в продакшене highload?

Сервер с 12 тб для статики это нормально? может все разбивается на более мелкие сервера? если да, то сколько оптимально места на 1 сервере?

Может есть уже готовые и проверенные решения? Буду очень рад советам.

1
  • подобная структура у меня работала. именно на md5. только я делал два вложения по две буквы, а не 4 по одной. На сервере было около 1.5 млн картинок и это не мешало другому софту. Раздавал все апач.
    – KoVadim
    28 ноя 2013 в 11:34

2 ответа 2

1

Некробот поднял этот тред, поэтому отвечу на него.

В чем вообще состоит проблема и насколько она актуальна?

Проблема состоит в наличии большого количества записей (в данном случае, файлов) внутри одной директории. Теоретически это может вызвать проседание производительности двумя путями:

  • Файловая система может работать медленнее с большими директориями. Это первое, чего боятся разработчики, но реальность существования такой проблемы я подтвердить не могу, скорее всего, ее вообще нет - большинство файловых систем поддерживают безумные лимиты на количество записей внутри директории.
  • Запрос листинга такой директории может быть относительно быстрым для файловой системы, однако сожрет невероятное количество оперативной памяти, если не читать его итеративно. Вероятность того, что рано или поздно эту директорию сожрет какой-нибудь scandir вместе со всей оперативкой сервера, ненулевая, и я вижу реальную опасность больших листингов именно с этой стороны.

Кроме того, всегда есть вероятность того, что в директорию придется залезть руками, чтобы вычистить битые файлы. В этом случае вы вряд ли столкнетесь с человекочитаемыми названиями, и листинг на тысячи позиций сильно попортит вам жизнь.

В общем, несмотря на то, что обычные страхи перед такой ситуации исходят просто из боязни и предположений, складывать все загружаемые файлы в одну директорию действительно не стоит.

Какие есть решения проблемы?

В общем-то, только одно - разбивать файлы по поддиректориям. В этом случае листинги будут производиться по конкретным директориям, и проблема тысяч файлов в одном листинге решится довольно просто - если разбивать файлы на тысячу папок, то потенциальная длина листинга уменьшится в тысячу раз.

В случае, если вы столкнулись с подобной проблемой, вероятнее всего, имена ваших файлов уже не несут никакого смысла и представляют собой md5-хэши или, что еще лучше, uuid. В этом случае лучше всего взять (или придумать) функцию, которая будет подбирать имя директории для файла на основе имени самого файла. Для этого вполне подойдут первые N символов HEX-репрезентации произвольной хэш-функции (например, той же md5), или вовсе первые символы самого файла (первый случай, впрочем, гарантирует вам нормальное распределение при любых именах файлов).

Почему не стоит создавать имена директорий на основе времени, почему не стоит создавать многоуровневую иерархию директорий, почему не стоит хранить файлы сразу в базе данных

В случае со временем вы теряете нормальное распределение файлов по директориям. Хотя это вряд ли как-то скажется на производительности, лучше так не делать; кроме того, в этом случае из имени файла невозможно восстановить его локацию, что может оказаться довольно неприятным.

Многоуровневая система директорий не даст вам ничего (кроме боли при переходах), потому что в финальных поддиректориях будет содержаться ровно такое же количество файлов, а директориями верхнего уровня никто не будет пользоваться. Единственная разница между /a/b/c/d/ и /abcd/ - количество директорий в корне хранилища, но я не вижу смысла им пользоваться. В случае, если у вас действительно какое-то гигантское количество файлов, можно прибегнуть к этой структуре, но я не вижу смысла переходить на нее до тех пор, пока в директориях не содержится хотя бы по тысяче записей (что уже составляет вместимость в миллион файлов).

Хранение файлов в базе данных позволяет избежать проблем с файловой системой, однако это предполагает совершенно иной подход и гораздо большие нагрузки на сервер. В этом случае придется прогонять все файлы через движок-обработчик, вызов которого сам по себе не бесплатный, а прогон больших данных по сети (в данном случае - между обработчиком и базой данныз) может довольно заметно тормозить ответ даже в случае локального расположения БД. На текущем проекте удалось довольно серьезно ускорить обработку поисковых запросов, просто скомандовав поисковому движку возвращать конкретные поля.

Послесловие

Если вы реально сталкиваетесь с подобными проблемами - скорее всего, настало время переходить на внешний CDN-провайдер, который возьмет все эти проблемы на себя. Это окупится как по деньгам, так и по заботам программиста - файловый хостинг стоит заметно дешевле, вышеописанные проблемы уходят, физических пределов файловой системы не существует, в довесок можно получить функционал навроде ACL.

0

а почему не такую структуру: "/yyyy/mm/dd/hh/<md5>.jpg" где yyyy - год, mm - месяц и т.д., а <md5>.jpg - имя файла в виде MD5 этого файла?

2
  • туда будут грузится файлы с большой сетки сайтов. ~50+ в час может загрузится довольно большое количество файлов так как загрузка никак не будет ограничиваться. и может получится так что 12 млн. файлов разместятся более плотно в меньшем количестве папок, а это может сказаться на скорости доступа к ним. лучше определенность и четкая схема. смена архитектуры после запуска станет геморроем. именно по этому я стараюсь все сразу подготовить к highload.
    – dev1
    28 ноя 2013 в 11:04
  • @cyberdream структура с датой плохая. - нагрузка не равномерная - пользователь получает много лишней информации.
    – KoVadim
    28 ноя 2013 в 11:36

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.