0

У меня есть идея написать небольшой поисковик под свои задачи, сделал ряд парсеров для анализа нужных мне сайтов, но их очень быстро банят. Возник вопрос: как работает поисковой бот (к примеру Яндекса)? Ведь насколько я понимаю поисковой бот это тот же самый парсер, и ему нужно обойти сайт, но при этом сайты его не блокируют. Помогите разобраться как поисковые боты обходят сайты.

1

1 ответ 1

0

Заходят на главную страницу сайта и следуют по всем ссылкам на ней. На внутренних точно так же. У вас же проблема не с тем, как работает, а "почему не банят". Потому, что яндекс/гугл. Их узнают по заголовкам запроса и/или reverse DNS и если сайт хочет быть проиндексированным, то вынужден не блокировать поисковых роботов. Чтобы вас не блокировали можно:

  1. использовать прокси
  2. обходить сайты очень аккуратно, а не 5 потоков по 200 url/s
  3. использовать другой хостинг. Выш IP, с которого ходит бот может быть в каком-то блек-листе.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.