1

На примере kinopoisk.ru - хочу в поле поиска засунуть свой текст, и получить страницу с результатами.

from lxml.html import parse, submit_form, tostring

page = parse('http://www.kinopoisk.ru/').getroot()
page.forms[0].fields['kp_query'] = 'Youth, 2015'
result = parse(submit_form(page.forms[0])).getroot()
print(tostring(result, encoding='unicode'))

Документацию прочитал. Возможно проблема в том, что не могу понять, каким образом определяется значение page.forms[?]. Это порядковый номер поля? Если проблема в номере, тогда как узнать, какой номер поля поиска у кинопоиска?

Пробовал разные цифры - если не 0, то выдает KeyError: "No input element with the name 'kp_query'"

Что делаю не так?

1
  • У Вас вопрос не как форму отправить, а как найти элемент формы на странице -- что делается также как и для любого другого html элемента.
    – jfs
    4 ноя 2015 в 4:09

2 ответа 2

0

Можно по id найти форму:

form = page.cssselect('#top_form')[0]

submit_form(form, open_http=open_http) отправит форму и вернёт результат (что open_http() хук возвращает -- по умолчанию результат urlopen()), но нет гарантии что это желаемый результат, если сайт использует javascript для генерации формы/её отправки или использует какие-либо меры по защите от ботов.


Если необходимо изменить как http-запросы делаются, то достаточно open_http() свой передать в submit_form(), например, в данном случае:

from urllib.parse import urlencode, urlsplit, urlunsplit

def open_http(method, URL, values): # method == 'GET' in this case
    return opener.open(urlunsplit(('http', 'kinopoisk.ru', 
                       urlsplit(URL).path, urlencode(values), '')))

где opener -- это стандартный opener из urllib.request, например, можно сделать, чтобы запросы шли через tor-сервис со случайным User-Agent http заголовком и другими настройками по желанию:

import urllib.request as urllib2
import fake_useragent # $ pip install fake-useragent
import socks  # $ pip install PySocks
from sockshandler import SocksiPyHandler  # from pysocks

socks_port = 9050 # tor socks5 port
opener = urllib2.build_opener(
    SocksiPyHandler(socks.PROXY_TYPE_SOCKS5, "localhost", socks_port))
opener.addheaders = [
    ('User-Agent', fake_useragent.UserAgent().random,
    ('Accept-Language', 'ru;q=0.8, en;q=0.7')
]

Можно open_http() не переопределять, а просто вызывать urllib2.install_opener(opener), чтобы во всём процессе автоматически этот opener использовать.

0

С lxml в данном случае в лоб не получится - сайт требует User-agent. Или делать через Grab (он использует во всех запросах User-agent-а)

from grab import Grab

g = Grab()
g.go('http://www.kinopoisk.ru/')
g.doc.set_input('kp_query', 'Youth, 2015')
g.doc.submit()
print(g.doc.select('//*').html())

либо через requests или urllib

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.