2

Добрый день, нужно сделать запрос в Гугл на питоне и вытащить первые 10 страниц, их адреса к примеру. Установил python 3.3. Поискал примеры, библиотека urllib2 приводилась, как стандартная, я так понял что в версии 3.3 её нет... В общем как мне сделать то, что я хочу, буду благодарен за небольшой пример или ссылку на пример... спасибо.

1
  • ага, нашел пример в python...\scripts\google.py теперь запуская его, открывается браузер с ключ словом, которое я ввел, и как теперь мне взять адреса первых 10 стр...
    – fortunado
    4 мая 2013 в 13:44

2 ответа 2

2

Делаем запрос с помощью

data = urllib2.urlopen(query)

, где query - это урл с подставленной строкой поиска. Читаем оттуда данные и формируем документ

import lxml.html as lhtml
document = lhtml.document_fromstring(data.read())

Ну и дальше раскапывать этот документ с помощью той же lxml, например.

Про urlopen тут, про lxml.html - здесь Также стоит посмотреть в сторону модуля Grab, хотя 99% его функционала в этой задаче использовано не будет :)

1
  • эм, насколько я знаю такого рода решения никак не спасут автора т.к. в ответе будет страница с пустыми результатами (которые потом заполнятся аяксом), не?
    – user3545
    5 мая 2013 в 10:36
0

Ekkertan все верно написал. Только учти, что гугл может принять тебя за робота и начать тебе возвращать вместо страницы выдачи - страницу с капчей. Так что неплохо бы еще косить под реальный браузер: принимать cookies, заполнить поле user agent, referer, рандомный sleep между запросами, если в цикле это делаешь.

1
  • Ну да, гугл может подумать плохое :) Впрочем, проблему кук и заголовков запроса тот же grub вполне решает
    – Ekkertan
    5 мая 2013 в 18:12

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.