Некробот поднял этот тред, поэтому отвечу на него.
В чем вообще состоит проблема и насколько она актуальна?
Проблема состоит в наличии большого количества записей (в данном случае, файлов) внутри одной директории. Теоретически это может вызвать проседание производительности двумя путями:
- Файловая система может работать медленнее с большими директориями. Это первое, чего боятся разработчики, но реальность существования такой проблемы я подтвердить не могу, скорее всего, ее вообще нет - большинство файловых систем поддерживают безумные лимиты на количество записей внутри директории.
- Запрос листинга такой директории может быть относительно быстрым для файловой системы, однако сожрет невероятное количество оперативной памяти, если не читать его итеративно. Вероятность того, что рано или поздно эту директорию сожрет какой-нибудь scandir вместе со всей оперативкой сервера, ненулевая, и я вижу реальную опасность больших листингов именно с этой стороны.
Кроме того, всегда есть вероятность того, что в директорию придется залезть руками, чтобы вычистить битые файлы. В этом случае вы вряд ли столкнетесь с человекочитаемыми названиями, и листинг на тысячи позиций сильно попортит вам жизнь.
В общем, несмотря на то, что обычные страхи перед такой ситуации исходят просто из боязни и предположений, складывать все загружаемые файлы в одну директорию действительно не стоит.
Какие есть решения проблемы?
В общем-то, только одно - разбивать файлы по поддиректориям. В этом случае листинги будут производиться по конкретным директориям, и проблема тысяч файлов в одном листинге решится довольно просто - если разбивать файлы на тысячу папок, то потенциальная длина листинга уменьшится в тысячу раз.
В случае, если вы столкнулись с подобной проблемой, вероятнее всего, имена ваших файлов уже не несут никакого смысла и представляют собой md5-хэши или, что еще лучше, uuid. В этом случае лучше всего взять (или придумать) функцию, которая будет подбирать имя директории для файла на основе имени самого файла. Для этого вполне подойдут первые N символов HEX-репрезентации произвольной хэш-функции (например, той же md5), или вовсе первые символы самого файла (первый случай, впрочем, гарантирует вам нормальное распределение при любых именах файлов).
Почему не стоит создавать имена директорий на основе времени, почему не стоит создавать многоуровневую иерархию директорий, почему не стоит хранить файлы сразу в базе данных
В случае со временем вы теряете нормальное распределение файлов по директориям. Хотя это вряд ли как-то скажется на производительности, лучше так не делать; кроме того, в этом случае из имени файла невозможно восстановить его локацию, что может оказаться довольно неприятным.
Многоуровневая система директорий не даст вам ничего (кроме боли при переходах), потому что в финальных поддиректориях будет содержаться ровно такое же количество файлов, а директориями верхнего уровня никто не будет пользоваться. Единственная разница между /a/b/c/d/
и /abcd/
- количество директорий в корне хранилища, но я не вижу смысла им пользоваться. В случае, если у вас действительно какое-то гигантское количество файлов, можно прибегнуть к этой структуре, но я не вижу смысла переходить на нее до тех пор, пока в директориях не содержится хотя бы по тысяче записей (что уже составляет вместимость в миллион файлов).
Хранение файлов в базе данных позволяет избежать проблем с файловой системой, однако это предполагает совершенно иной подход и гораздо большие нагрузки на сервер. В этом случае придется прогонять все файлы через движок-обработчик, вызов которого сам по себе не бесплатный, а прогон больших данных по сети (в данном случае - между обработчиком и базой данныз) может довольно заметно тормозить ответ даже в случае локального расположения БД. На текущем проекте удалось довольно серьезно ускорить обработку поисковых запросов, просто скомандовав поисковому движку возвращать конкретные поля.
Послесловие
Если вы реально сталкиваетесь с подобными проблемами - скорее всего, настало время переходить на внешний CDN-провайдер, который возьмет все эти проблемы на себя. Это окупится как по деньгам, так и по заботам программиста - файловый хостинг стоит заметно дешевле, вышеописанные проблемы уходят, физических пределов файловой системы не существует, в довесок можно получить функционал навроде ACL.