Пишу кэширующий прокси. Подскажите, где хранить данные и что использовать для индексирования списка кэшированных страниц?
По идее, хранить данные лучше в файлах, называя их md5(полный путь к сайту); Но дальше возникает вопрос, как решать ситуации с маловероятными, но все же возможными совпадениями md5(). Так же куча файлов это совсем не хорошо. Плюс вопрос устаревания документов, которые стоило бы удалять, а не захламлять диск...
В принципе я подхожу к идее с файлами данных, со структурой в виде массива, в котором будет ссылка на сайт, дополнительные данные и кэшированное содержимое. И каждый день создавать новый файл. При загрузке индексируем ссылки из этих файлов. При изменении кэша записываем его в новый файл. Данные из старых файлов потихоньку переносим в новые и удаляем ненужные файлы. Итого, никаких лишних файлов, логика работы вполне проста и надежна.
Что касается индексирования. У меня есть алгоритм с массивом в одном блоке памяти, где вставка и удаление элементов делается через сдвиг части массива в памяти. Это конечно медленнее деревьев, но я пока не понимаю как сделать деревья, позволяющие хранить идентичные ключи.
Одна из целей реализации, получить прокси, умеющий адекватно работать с Range. Как именно это реализовывать тоже не понятно.
Можете ли вы подсказать, как лучше реализовывать кэширующий прокси?