Добрый день, нужно сделать запрос в Гугл на питоне и вытащить первые 10 страниц, их адреса к примеру. Установил python 3.3. Поискал примеры, библиотека urllib2 приводилась, как стандартная, я так понял что в версии 3.3 её нет... В общем как мне сделать то, что я хочу, буду благодарен за небольшой пример или ссылку на пример... спасибо.
2 ответа
Делаем запрос с помощью
data = urllib2.urlopen(query)
, где query - это урл с подставленной строкой поиска. Читаем оттуда данные и формируем документ
import lxml.html as lhtml
document = lhtml.document_fromstring(data.read())
Ну и дальше раскапывать этот документ с помощью той же lxml, например.
Про urlopen тут, про lxml.html - здесь Также стоит посмотреть в сторону модуля Grab, хотя 99% его функционала в этой задаче использовано не будет :)
-
эм, насколько я знаю такого рода решения никак не спасут автора т.к. в ответе будет страница с пустыми результатами (которые потом заполнятся аяксом), не?– user35455 мая 2013 в 10:36
Ekkertan все верно написал. Только учти, что гугл может принять тебя за робота и начать тебе возвращать вместо страницы выдачи - страницу с капчей. Так что неплохо бы еще косить под реальный браузер: принимать cookies, заполнить поле user agent, referer, рандомный sleep между запросами, если в цикле это делаешь.
-
Ну да, гугл может подумать плохое :) Впрочем, проблему кук и заголовков запроса тот же grub вполне решает– Ekkertan5 мая 2013 в 18:12