1

Ubuntu 16.04. Множество сайтов работают по связке nginx+apache. Остро встает проблема борьбы с ботами всяческих сервисов типа MegaIndex, MJ12bot и т.д.

Необходимо отклонять запросы ко всем сайтам на уровне nginx или apache, если userAgent пользователя частично совпадает со списком "запрещенных". Это можно реализовать?

Сейчас для борьбы с ботами в файлы .htaccess в корнях каждого сайта добавляю строки:

RewriteCond %{HTTP_USER_AGENT} MJ12bot|ia_archiver|LinkpadBot|MegaIndex|AhrefsBot|SemrushBot|opensiteexplorer
RewriteRule (.*) - [F,L]

Возможно ли как-то "централизовано" бороться с ботами, прописать одно правильно для всех сайтов на сервере?

2 ответа 2

0

Для nginx:

http {
    map $http_user_agent $bad_client {
      default                 0;
      "~*^MJ12bot"            1;
    }

    server {
        if ($bad_client) {
            return 403;
        }
    }
}
8
  • это где надо прописать и как обозначить несколько сравнений для userAgent?
    – user305545
    29 окт 2019 в 15:45
  • в map, по строке на каждого агента 29 окт 2019 в 16:04
  • Сделал, перезагрузил nginx. Ограничение НЕ работает (использую ту же строку, что и ранее в .htaccess). Возможно блок server {..} не работает? такая же ситуация была тут ru.stackoverflow.com/questions/1035032/… . Там я убрал блок server {} и заработало. В этом же случае как поступить не знаю.
    – user305545
    29 окт 2019 в 16:38
  • Перепроверил: секция map {...} - работает. Секция server {...} - игнорируется. Может быть ее нужно в другое место переместить или по-другому переписать?
    – user305545
    29 окт 2019 в 16:55
  • если же содержимое блока server {...} прописать в конфиге для конкретного сайта /home/admin/web/site.ru.nginx.conf - то ограничение работает. Но как сделать разом для всех сайтов???
    – user305545
    29 окт 2019 в 17:10
0

На шаред это делать легко - не знаю, как у Вас организовано на сервере, корень "корня" - то есть, выше уровня папки нахождения всех доменов, где находятся соответствующие файлы и внесение изменений в них касаются всех папок/доменов:

введите сюда описание изображения

8
  • сделал также (на уровень выше всех сайтов файл .htaccess), теперь ошибка 500.
    – user305545
    29 окт 2019 в 15:49
  • Попробуйте убрать все из файла и пустой поставьте - посмотрите, что будет.
    – Coder
    29 окт 2019 в 16:41
  • если в самом верхнем .htacces пусто, то все сайты работают нормально (как раньше)
    – user305545
    29 окт 2019 в 16:47
  • Тогда дело не в файле, а в инструкциях - поэкспериментируйте, попробуйте добавлять блоки классически - с обертками по проверке модулей и прочим - например, поробуйте просто поставить в бан какой-то ip - в обертке соответтвующего блока.
    – Coder
    29 окт 2019 в 16:50
  • 1
    Сделал так, не знаю на сколько правильно и безопасно, но работает: 1) в apache2.conf прописываем : <Directory /home/admin/web/> AllowOverride All </Directory> 2) в /home/admin/web/.htaccess прописываем : RewriteOptions Inherit RewriteCond %{HTTP_USER_AGENT} MJ12bot|ia_archiver|LinkpadBot|MegaIndex|AhrefsBot|SemrushBot|opensiteexplorer RewriteRule (.*) - [F,L]
    – user305545
    30 окт 2019 в 16:04

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.