0

Какой подход более правильный при составлении регулярного выржения, которое отлавливало бы все записи в access.log NGINX, у которых поле Referrer: содержит bs.serving-sys.com?

Пример записи с этим полем:

174.109.109.115 www.auctiondirectusa.com - [01/Oct/2015:09:38:24 -0500] "GET /used-cars-raleigh-nc?utm_source=TU+MEDIA&utm_medium=MOBILE&utm_campaign=GEO+FENCING HTTP/1.1" 200 48476 "www.bs.serving-sys.com/BurstingPipe/adServer.bs" "Mozilla/5.0 (iPhone; CPU iPhone OS 9_0_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Mobile/13A404" 1.285

^<HOST>.*"(GET|HEAD|POST).*HTTP.*".*bs.serving-sys.com.*".*$

Я использую такую регулярку, можно сказать она не "жёсткая", то есть referrer может быть и в поле User-agent, и она тогда сработает, но это очень маловероятно.

Хотелось бы узнать, какой путь правильный, писать её чётко определённую, так чтобы и дату проверять, и сайт. Но это лишняя проверка, я считаю. Ведь может быть такое, что она не пройдет, в то время как имя referrer-a будет совпадающим и мы не получим срабатывания из-за того, что имя сайта или дата, или любая друга дополнительная проверка не прошла.

P.S.: для <HOST> уже определена группа, котоая парсит IP-адрес.

1 ответ 1

1
  1. Если двойные кавычки во всех строках аналогично стоят, то вместо .* следует поставить [^"]* (любое количество символов, не двойных кавычек).
  2. И дополнительную проверку на наличие только пробелов или цифр между целью запроса и реферерром [\s\d]+

    /^<HOST>.*"(?=GET|HEAD|POST)[^"]*HTTP[^"]*"[\s\d]+"[^"]*bs\.serving-sys\.com[^"]*".*$/
    

Пример https://regex101.com/r/wG8rB9/1 (в тестовые строки в начало дописал <HOST>, чтобы регулярку не менять)

5
  • Да, кавычки везде одинаковые " Я тоже думал об этом. Насчет [^"]* Но смотри, вот например у нас HTTP всегда стоит внутри строки, в кавычках. То есть выходит что используя .*HTTP мы словим всё, и упрёмся в HTTP как в стопор? 4 окт 2015 в 18:49
  • (?=) Зачем эта группа? Ты имеел ввиду группировку (?:) без обратной связи чтоб память не занимать? 4 окт 2015 в 19:56
  • 1
    1. Да, вместо (?=) можно поставить (?:). 2. До HTTP можно поставить и .*, и проверки .*"(?=GET|HEAD|POST)[^"]* можно убрать вообще. После HTTP нужно оставлять все [^"]*.
    – Visman
    5 окт 2015 в 3:41
  • Значит ли это выражение ^<HOST>.*"(GET|HEAD|POST) что я не словлю никакую другую кавычку, кроме как ту, которая предшествует (GET|HEAD|POST) ? Ведь эта группа сразу за кавычкой идёт. Или я регулярка сначала словит всё до самой последней кавычки, а затем увидев (GET|HEAD|POST) вернётся назад и словит лишь ту кавычку, которая предшествует (GET|HEAD|POST) ? Если это так, то это лишние операции и тогда я понимаю зачем ^<HOST>[^"]*"(GET|HEAD|POST) мы пишем. 5 окт 2015 в 5:54
  • @MishaPolitaev, .*"(GET|HEAD|POST) тут поймаем первое вхождение кавычки и одного из трех слов или, если такого не будет, то пройдем до конца строки. Если использовать [^"]*", то дойдем до первой кавычки и если дальше нет одного из трех слов, то все.
    – Visman
    5 окт 2015 в 6:07

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.