0

Выдает ошибку в ссылке, как я понимаю, потому что urllib непонятным образом обрезает её при переходе на новую страницу. Как ни странно, в поиске яндекса при аналогичном алгоритме всё работает.

raise ValueError("unknown url type: %r" % self.full_url)

ValueError: unknown url type: '/searchTerms/search?query=python...

from lxml.html import *
import urllib.request

headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; rv:39.0) Gecko/20100101 Firefox/39.0'}
req=urllib.request.Request('https://search.disconnect.me',None, headers)
page=fromstring(urllib.request.urlopen(req).read())

page.forms[0].fields['query']='python'
result=parse(submit_form(page.forms[0])).getroot()
1
  • не по теме: избегай import * вне интерактивной консоли или __init__.py.
    – jfs
    19 авг 2015 в 5:07

1 ответ 1

0

urllib не обрезает адреса. urllib не распознаёт содержимое, которое оно читает. urllib c одинаковым успехом скачает и картинку и html страничку.

Чтобы получить полный адрес, можно вызвать lxml.html.make_links_absolute() функцию. Полезно посмотреть на base_url свойство и как оно используется.

2
  • Не совсем понимаю, как это применимо к моему коду.
    – ND7
    19 авг 2015 в 16:47
  • @ND7: посмотрите на ошибку в вопросе. Подумайте почему адрес в ошибке не начинается с http://example.com и что должно произойти, если вызвать make_links_absolute().
    – jfs
    19 авг 2015 в 17:16

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.