0

Защищая сайты от парсинга чекают ip, считают запросы, проверяют заголовки, выполняют коды на js и только по факту их выполнения запускают на страницу...

Как работает Cloudflare? Какие защиты применяет? Как их обойти? Вот здесь вроде были скрипты, но автор констатирует что Cloudflare что-то поменял и теперь в утиль его скрипты? Что такое помогает Cloudflare защищать сайты? Какие флюиды(заголовки и прочее) посылают поисковики чтобы им разрешали парсить сайты? Может можно как-то прикинуться, скажем, Гугл-ботом?

Наверняка можно для этих целей использовать консольные браузеры на подобие phantomjs . Но хотелось бы что-то написать все-же на php? Какая технология парсинга сайтов под защитой Cloudflare?

2
  • Во-первых, Cloudflare не защищает от парсинга — ничто не мешает выполнить js-код внутри парсера и пройти защиту (я такое делал). Во-вторых, гугл-боты и прочие популярные роботы обычно имеют определённый задокументированный набор используемых IP-адресов, и Cloudflare теоретически может отключать для них защиты
    – andreymal
    12 фев 2022 в 19:11
  • @andreymal Да как же не защищает - без него парсился бы сайт, а с ним нет... Хотя может и не ставится Cloudflare такой цели. Так он с помощью JS-а защищает, или как вы называете это(если это не защита)? Да я и написал какие защиты могут быть - понимаю что может список чекать - как на практике? Можно подбором тыкаться узнавая на чем именно блокирует. Но может кто подскажет какие именно у него защиты.
    – Hertz
    12 фев 2022 в 19:34

1 ответ 1

0

Защита Cloudflare строится на более сложных алгоритмах, в том числе основанных на машинном обучении.

Прикинуться краулером подставив User-Agent не получится потому что используется механизм проверки ботов отлично описанный в доках Яндекса.

Лучший на мой взгляд способ парсинга - использовать Selenium WebDriver

2
  • Алгоритмы основанные на машинном обучении- это значит использовать разумное количество запросов на сессию и бродить по сайту по ссылкам, а не в разнобой? Яши и Гоши краулером прикинуться не выйдет а другие поисковики? Может какой еще не сделал такую проверку, не в курсе? Хотелось бы чтобы скрипт лежал на сервере и по мере необходимости подпаршивал инфу(никаких дорвеев для них как раз напарсил бы зомби-браузером на подобие Селениума - исключительно благородные побуждения:) ).
    – Hertz
    13 фев 2022 в 8:18
  • Алгоритм проверки - это не изобретение Яндекса. Он просто в своей документиации об этом доступно написал. Реверс DNS запрос позволяет получить доменное имя по IP и далее сравнивать c доменом. Поэтому так проверить можно любой домен. 13 фев 2022 в 11:38

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.