3

Задача: обеспечить стабильность работы веб-сайта, основанного на веб-сервисах. Есть интеграция с системами 1С, CRM, другими веб-сайтами по HTTP.

  • веб-сервисы могут быть недоступны в течение нескольких часов
  • могут отвечать очень долго

Все это приводит к тому, что приходится показывать сообщение "страница временно не доступна".

Как я вижу решение (либо предложите свое): использование промежуточного кеширующего прокси, работающего следующим образом:

  • принял требуемый URI
  • запросил конечную точку по URI
    • если конечная точка
      • возвращает 20x / 40x, передаем назад, для 200 - кешируем
      • возвращает 50x, взять данные из кеша
      • отвечает более 15 секунд, взять данные из кеша, в фоне обновить кеш
    • все данные, полученные из кеша - помечать каким-либо образом в заголовке, чтобы на веб-сайте можно было вывести сообщение а-ля "показаны данные, актуальные на (дата)"

Сейчас примерно 50 конечных веб-сервисов, поэтому

  • нужно какое-то централизованное решение, управляемое, законченное
  • основной упор - на решение, а не переделывание архитектуры 50 разделов, эксплуатирующих эти 50 веб-сервисов. проще все свести в одну точку (типа прокси), а не дорабатывать все 50 разделов

Есть варианты, как это сделать? Может быть есть уже готовые решения/демоны/пакеты/сервера для этих целей? Интересует детальное описание методологии / инструментов.

Не подходят такие решения:

  • "повышайте доступность внешних сервисов"
  • скрипты на PHP, конечно, придется дорабатывать, но вариант "напишите свою либу на PHP" не подходит - я ищу решение другого уровня. хотя... рассмотрю и такой вариант
8
  • Наверно лучше всегда отдавать кеш если он есть и каждый раз в фоне его обновлять. Либо никогда не обновлять а просто удалять его, если было какое-нибудь изменение, чтобы он закешился при след запросе
    – Skywave
    10 июн 2019 в 12:07
  • @Skywave, на первом хите кеша нет, отдавать нечего. 10 июн 2019 в 12:09
  • Всегда отдавать кеш, греть принудительно и перегревать в зависимости от правил валидации.
    – volcan0
    15 июн 2019 в 14:30
  • @volcan0, а поподробнее? 15 июн 2019 в 14:32
  • Как это сделано у нас: 1. Есть информация о всех важных ресурсах, скажем, в виде таблицы 2. Есть демон, который "греет" кеш обращаясь к этим таблицам и запоминает статус (время прогрева, код ответа) 3. Когда кеш протухает - он перегревается демоном заново. 4. Клиенту выдается всегда ответ из кеша Модифицировать скрипты не придется. Придется писать некий middleware, который выполняется перед отдачей контента. И в нем решать, брать из кеша, брать живой ответ или что-то еще
    – volcan0
    15 июн 2019 в 14:33

4 ответа 4

4
+100

Apache + Nginx(обратный прокси)

3
  • Зачем тут apache? А если Nginx, как его настроить 20 июн 2019 в 19:46
  • @TotalPusher вы указали цель как стабильность сайта, настройки бывают разные, следовательно и ответ общий
    – Slava
    20 июн 2019 в 20:22
  • @Slava, я видел одной из опцией некоторых CDN - сайт будет работать даже, если "бек" отвалился. Они каким-то образом кешируют не только статику, но и обычные страницы, которые при нормальной работе бека идут именно с него. Тут ситуация аналогичная. 20 июн 2019 в 20:37
1

Я бы сделал так:

  • каждое обращение к сторонним ресурсам ставить в очередь на выполнение до тех пор, пока не получен ответ 20x, либо исчерпан лимит попыток / времени
  • каждый ответ 20x сохранять в кеш / обновлять существующий с обновлением даты / времени
  • при задержке ответа сервера более 15 секунд выводить сообщение "страница временно не доступна", а к нему ссылку на сохраненную страницу в кеше с датой / временем

дополнительно:

  • собрать статистику часто посещаемых страниц
  • написать демона для обновления кеша по расписанию
2
  • В принципе, все верно. Дьявол кроется в деталях. Как ставить в очередь? Какой сервис использовать для кеширования (varnish, memcached, redis, ...)? Как организовать кеш с учетом того, что есть интеграция с разными сервисами - там разные URI, логины-пароли, разное время инвалидации кеша, как этим всем управлять? написать демона для обновления кеша по расписанию - как это организовать? есть сервисы, которые получают данные методом POST (да, это плохо, но уж как есть) - опять же интересует что-то большее, чем просто концпепция. дополнил вопрос 14 июн 2019 в 22:34
  • Поясните про бюджет и разработчиков? Есть коммерческие решения? 20 июн 2019 в 20:38
1

В общем, можно сделать кеширующий прокси на nginx, для этого есть настройка proxy_cache_use_stale.

Выглядит это так:

nginx прокси кеш

Вот конфиг с моей аннотацией, который можно доработать до собственных нужд:

# Настройки кеша
proxy_cache_path /tmp/nginx   # путь
  levels=1:2                  # количество уровней
  keys_zone=stale_cache:10m   # название:размер зоны, 1Мб ~ 8000 ключей (1 ключ - 1 запрос)
  max_size=10g                # размер данных кеша, при превышении удаляются наиболее старые
  inactive=180m               # время хранения запроса на диске с момента последнего обращения, независимо от Cache-Control
  use_temp_path=off;          # off - используем proxy_cache_path; on - используем proxy_temp_path, указанный в location

server {

  listen                      80;
  error_log                   off;
  access_log                  off;

  # настройки таймаута
  proxy_connect_timeout       10;
  proxy_send_timeout          10;
  proxy_read_timeout          10;
  send_timeout                10;

  # Какой кеш использовать? Инструкцию можно использовать на уровне location
  proxy_cache stale_cache;

  location / {
    # Заголовок:
    #   HIT - из кеша
    #   MISS - с сервера
    #   EXPIRED - время кеширования истекло, взято с сервера
    #   STALE - сервер не отвечает, использовано из кеша
    add_header X-Cache-Status $upstream_cache_status;

    # Статус бека
    add_header X-Upstream-Status $upstream_status;
    # Как-то надо передавать время, когда было закеширован ответ
    # add_header X-Time ...;

    # Опционально можно игнорировать заголовки:
    # proxy_ignore_headers Expires Cache-Control Set-Cookie;

    # В некоторых случая можно включить proxy_cache_methods, если данные получаются методом POST (есть случаи)
    # proxy_cache_methods GET HEAD POST;

    # задаем ключ для кэширования @see https://nginx.org/ru/docs/http/ngx_http_proxy_module.html#proxy_cache_key
    # можно настроить на уровне сессиий, используя $cookie_jsessionid
    proxy_cache_key $scheme$proxy_host$uri$is_args$args;

    # задаем параметры кеширования (минимальное время)
    proxy_cache_valid 200 1s;

    # если нужно минимизировать число обращений к проксированным серверам,
    # выставляем опцию proxy_cache_lock
    # @see https://nginx.org/ru/docs/http/ngx_http_proxy_module.html#proxy_cache_lock

    # Если источник "отвалился", будем отдавать с диска
    # updating - в моем случае лучше не использовать, сервер еще не отвалился, но прокси возвращает назад уже результат из кеша со статусом UPDATING
    proxy_cache_use_stale error timeout http_500 http_502 http_503 http_504;
    # но будем обновляться в фоне - опционально
    # proxy_cache_background_update on;

    # Исключить из кеширования: @see https://nginx.org/ru/docs/http/ngx_http_proxy_module.html#proxy_cache_bypass
    # proxy_cache_bypass ...

    # Резолвер (вписан для Докера)
    resolver 127.0.0.11 ipv6=off;

    # Куда проксировать - источник данных
    proxy_pass http://$http_host$uri$is_args$args;
  }

}

Что мне не нравится в этом решении:

  • много настроек - это с одной стороны хорошо, но получилось очень многословно, для 50 endpoint конфиг распухнет очень серьезно => неудобно администрировать
  • при изменении конфига нужно тем или иным способом сбрасывать кеш: либо менять путь, либо proxy_cache_key, ни то ни другое не удобно, когда меняешь схему только для одной endpoint, кеш сбросится для всех (либо делать под каждую точку свой конфиг)
  • не придумал, как в ответе отдавать время создания кеша, чтобы показывать "данные устарели на ...", вот заголовок X-Cache-Status содержит откуда пришли данные (бек, кеш), теперь нужно сделать аналогичное для времени
  • вообще я ждал, что есть какие-то более подходящие решения для этих целей - проще конфигурируемые, а если в них будет хоть какая статистика - вообще сказка

PS. Тем кто минусит - пишите причину.

-1

Тут вам придётся составить шаблон того, что вы описали выше, обернуть все ваши сервисы в абстрактный класс и добавить каждому из них стандартную конфигурацию. Обобщить их всех в архитектурном смысле.

После этого можно использовать к примеру Gearman как очередь задач, где проставлять время time-out для задачи (не-отклика), time-out для вызова сервиса внутри задачи и др. Ну и после этого ждать её окончания или time-out и дальше по расписанному сценарию - либо кэшировать пришедшие данные, либо доставать их из кэша.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.