2

У меня есть код:

import requests
from time import sleep
from bs4 import BeautifulSoup

query = 'inurl%3Acheck%3Furi%3D'
number = 7

for i in range(number):

    r = requests.get('https://www.google.ru/search?q={}&start={}'.format(query, i * 10))
    soup = BeautifulSoup(r.text, 'html.parser')
    for element in soup.find_all('h3', class_='r'):
        element = element.contents[0]
        link = 'https://www.google.com' + element['href']
        print(link)
    sleep(5)

Мне надо вынуть url адреса с 7 страниц google. Я подставлял user-agents, referer, proxi, headers сделал интервал, но все без результатов. Он думает что я робот, как обойти данную схему?

8
  • 1
    Ооо хентайные картинки собираете :D кст, в вашем коде нет из перечисленного user-agents, referer, proxi, headers , добавьте что ли :) Мне особенно интересно proxy. Я как то парсил один страшный неудобный сайт там приходилось после нескольких открытий ссылок капчу вводить, непомогали даже таймауты. По мне это неправильно. Поэтому я скачал тор указал в конфиге смену ip, и в качество прокси использовал тор. У меня скрипты несколько дней подряд и без перерыва досили тот сайт. Я таки собрал данные, но заказчико отвалился и это оказалось впустую :)
    – gil9red
    1 июн 2017 в 10:45
  • @gil9red, я привел для примера более простой код, у меня стояли user-agent : Opera бла бла бла, и прокси 88.99.189.189:3128. Я все это юзал, но зачем я юзал мне не понять. А вот как через тор пропустить весь этот процесс я вообще понятия не имею)) Или же не надо ничего пропускать, а просто использовать его динамический ip? 2 июн 2017 в 20:03
  • @gil9red на питоне ддосили? :) 2 июн 2017 в 20:57
  • Ага, на питоне, я потом мини пример работы с тор написал, вот
    – gil9red
    2 июн 2017 в 21:10
  • @gil9red я понял, а не подскажите что мне делать с этим кодом? Может как-то его пропустить или чет-то типо того, но я тоже не знаю как это сделать 3 июн 2017 в 8:46

2 ответа 2

1

Если только с 7 страниц гугла нужна инфа... Мне для похожей задачки хватило только НЕпитоновского юзер-агента (взял строку из браузера) и рандомного sleep-а:

import time
...
(your code)
...
(your code ends)
time.sleep((30-5)*np.random.random()+5)

В комменте прочел про 1000 запусков. В этой ситуации я бы попробовал увеличить интервал sleep-a (но рандом оставить обязательно!) и менял юзер-агентов.

1

Ниже несколько вещей, до многих из которых я дошёл сам методом проб и ошибок. Я прошу прощения, что не все они, возможно, относимы к вашей ситуации.

  1. Мне для парсинга всего-чего-угодно хватает купленных на altvpn.ru двух статических прокси-адресов, на работу через которые скрипт переключается, как только сервер начинает возвращать капчу. И в обратном порядке, когда сервер начинает давать капчу на прокси. Если деньги позволяют, возможно, имеет смысл увеличить количество статических прокси или обратиться к сервисам динамических прокси.
  2. Подставлять заголовки. Желательно, из большого списка рандомом выбирать новый для каждого нового запроса.
  3. Делать рандомную задержку (но это совет в пользу бедных - обычно же все спешат :)).
  4. Не запрашивать страницы последовательно (page=1, затем page=2 и тд.), рандомизировать порядок.
  5. Чередовать запросы к страницам разных уровней (каталог-главная-страница товара-каталог и тд.).
  6. Если можно кэшировать ответы сервера (в т.ч. при отладке) и не запрашивать один и тот же адрес по несколько раз - не поленитесь, сделайте. Через несколько прогонов обнаружите, что, несмотря на капчу, за несколько упорных сеансов вы выкачали полный список того, что вам было интересно. :)

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.