0

Пишу кэширующий прокси. Подскажите, где хранить данные и что использовать для индексирования списка кэшированных страниц?

По идее, хранить данные лучше в файлах, называя их md5(полный путь к сайту); Но дальше возникает вопрос, как решать ситуации с маловероятными, но все же возможными совпадениями md5(). Так же куча файлов это совсем не хорошо. Плюс вопрос устаревания документов, которые стоило бы удалять, а не захламлять диск...

В принципе я подхожу к идее с файлами данных, со структурой в виде массива, в котором будет ссылка на сайт, дополнительные данные и кэшированное содержимое. И каждый день создавать новый файл. При загрузке индексируем ссылки из этих файлов. При изменении кэша записываем его в новый файл. Данные из старых файлов потихоньку переносим в новые и удаляем ненужные файлы. Итого, никаких лишних файлов, логика работы вполне проста и надежна.

Что касается индексирования. У меня есть алгоритм с массивом в одном блоке памяти, где вставка и удаление элементов делается через сдвиг части массива в памяти. Это конечно медленнее деревьев, но я пока не понимаю как сделать деревья, позволяющие хранить идентичные ключи.

Одна из целей реализации, получить прокси, умеющий адекватно работать с Range. Как именно это реализовывать тоже не понятно.

Можете ли вы подсказать, как лучше реализовывать кэширующий прокси?

2
  • 1
    Велосипедостроение. Чем не устраивают существующие решения? Или Вы для себя, для души?
    – AntonioK
    8 июн 2015 в 6:28
  • Один товарищ пожаловался, что куча проксей не умеют нормально работать с заголовком Range. Мне проще написать, чем разбираться. ) У меня новый сервер на с++, ищу для него задачи и тесты, прокси самое то.
    – mikelsv
    8 июн 2015 в 7:07

1 ответ 1

1

У Вас тут, по идее, не один вопрос, а много:

  • как (где) лучше хранить данные (отдельные файлы, стурктурированные файлы, БД, ...)
  • как их идентифицировать (md5, ...)
  • как отслеживать и удалять устаревшие записи
  • быстрая работа с индексами

Их лучше оформить отдельными вопросами на SO - так у Вас будет больше шансов получить подробные ответы.

По общей сути вопроса - начните с изучения RFC2616, почитайте про Conditional Get.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.