У меня есть код:
import requests
from time import sleep
from bs4 import BeautifulSoup
query = 'inurl%3Acheck%3Furi%3D'
number = 7
for i in range(number):
r = requests.get('https://www.google.ru/search?q={}&start={}'.format(query, i * 10))
soup = BeautifulSoup(r.text, 'html.parser')
for element in soup.find_all('h3', class_='r'):
element = element.contents[0]
link = 'https://www.google.com' + element['href']
print(link)
sleep(5)
Мне надо вынуть url адреса с 7 страниц google. Я подставлял user-agents, referer, proxi, headers сделал интервал, но все без результатов. Он думает что я робот, как обойти данную схему?
user-agents, referer, proxi, headers
, добавьте что ли :) Мне особенно интересно proxy. Я как то парсил один страшный неудобный сайт там приходилось после нескольких открытий ссылок капчу вводить, непомогали даже таймауты. По мне это неправильно. Поэтому я скачал тор указал в конфиге смену ip, и в качество прокси использовал тор. У меня скрипты несколько дней подряд и без перерыва досили тот сайт. Я таки собрал данные, но заказчико отвалился и это оказалось впустую :)