0

Написал код по парсингу доменов в выдаче в поиске Google:

from requests_html import HTMLSession
keyword = input('Введите запрос: ')
session = HTMLSession()
resp = session.get(f'https://www.google.com/search?q={keyword}&num=10&hl=en')

links = resp.html.xpath('//div[@class="r"]/a[1]/@href')

domains = [x.split('/')[2] for x in links if 'http' in x]
contents = '\n'.join(domains)
with open('list_domains.txt', 'w') as f:
    f.write(contents)

print('*' * 50)
print(domains)

Но почему-то данные не парсятся. Не могу понять - либо ошибка в коде, либо изменилась верстка выдачи, но вроде как все корректно.

1

2 ответа 2

1

429 ошибка - это гугл вам даёт разгадывать капчу. Вы много запросов посылаете за короткое время.

0

Попробовал в Google Colab - вроде всё работает.

Введите запрос: sprite
**************************************************
['www.sprite.com', 'www.sprite.com', 'www.coca-colacompany.com', 'en.wikipedia.org', 'en.wikipedia.org', 'www.facebook.com', 'www.amazon.com', 'www.amazon.com', 'twitter.com', 'www.cokesolutions.com']

У вас хотя бы resp.status_code какой?

3
  • Получаю 429 ответ. Странно работает парсер – после вашего сообщения я запустил → все отработало. Пытаюсь сегодня запустить → ничего не работает.
    – Toshich_42
    2 сен 2020 в 18:31
  • HTTP 429 Too Many Requests код состояния ответа указывает, что пользователь отправил слишком много запросов за заданный промежуток времени ("ограничение скорости" или "rate limiting" ).
    – CrazyElf
    2 сен 2020 в 20:42
  • У меня работает. Либо вы и правда много запросов сами даёте и гуглю это не нравится, либо вы ходите через прокси, с которой прилетает много запросов, можно только гадать.
    – CrazyElf
    2 сен 2020 в 20:45

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.