Нужно получить URL адреса из выдачи Google средствами Python. Как это можно сделать? Пробовала BeautifulSoup
, но выдача Google не отображается в исходнике.
-
Т.е вы ввели запрос в гугл, и хотите вытащить укрлы результатов?– Pavel Durmanov21 июн 2017 в 14:44
-
Да, именно так.– Соня Филатова21 июн 2017 в 14:48
-
Тогда пробуй Selenium. Должно ролучиться– Sergei Malanin21 июн 2017 в 21:00
-
имеются подробные решения, но на C# ru.stackoverflow.com/a/609395– mymedia21 июн 2017 в 23:23
-
1Советую прикладывать код того, как вы пробовали.– rusnasonov22 июн 2017 в 1:05
Добавить комментарий
|
1 ответ
Не знаю, какая проблема возникла с BeautifulSoup
, но вот, как мне кажется, рабочее решение, использующее BeautifulSoup
:
import requests
from bs4 import BeautifulSoup
query = 'привет'
r = requests.get('https://www.google.ru/search?q=' + query)
soup = BeautifulSoup(r.text, 'html.parser')
for element in soup.find_all('h3', class_='r'):
element = element.contents[0]
link = element['href']
# проверяем, что это ссылка на сайт, а не, например, «картинки по вашему запросу»
prefix = '/url?q='
if link.startswith(prefix):
link = link[len(prefix):]
print(link)