0

По работе понадобился парсер страниц. Знаю, что уже есть много готовых решений, по типу того же Grab-a , но захотелось сделать свой костыль для практики. Написал логирование на сайт и получение страницы, однако, оно работает несколько странно.

Код:

import pycurl
from StringIO import StringIO

c = pycurl.Curl()
url = 'https://site.ru/index.php'
url1 = 'https://site.ru/index.php?_m=tickets&_a=manage&departmentid=17&ticketstatusid=1'


c.setopt(pycurl.URL, url)
c.setopt(pycurl.POSTFIELDS, 'username=user&password=pass&_ca=login')
c.setopt(pycurl.COOKIEJAR, "/tmp/cookie.txt")
c.setopt(pycurl.COOKIEFILE, "/tmp/cookie.txt")

def __list(url) :
 c.setopt(pycurl.URL, url)
 c.setopt(pycurl.COOKIEJAR, "/tmp/cookie.txt")
 c.setopt(pycurl.COOKIEFILE, "/tmp/cookie.txt")
 c.bodyio = StringIO()
 c.setopt(pycurl.WRITEFUNCTION, c.bodyio.write)
 c.get_body = c.bodyio.getvalue
 c.perform()
 return c.get_body()

print __list(url1)

В итоге должен получать код тикетницы. Однако, после логирования в браузере происходит редирект. И код, в том виде, в каком он выше, отдает страницу редиректа. Однако, при комментировании части, отвечающей за логирование и создание куки, с использованием уже готовой куки отдает нужную страницу.

Подскажите, пожалуйста, почему так происходит и как от этого можно избавиться? Сам, если честно, вижу python впервые.

1
  • Что-то не понял вопроса, почему случается редирект? Потому что разработчики сайта так захотели. Как избавиться? Попросить разработчиков переделать сайт, чтоб работал без редиректов :) Или обрабатывать редиректы как положено в коде. Я с pycurl никогда не работал (зачем он нужен, если есть urllib и requests?), но беглый гуглинг говорит про c.setopt(c.FOLLOWLOCATION, True)
    – andreymal
    3 янв 2018 в 1:29

1 ответ 1

1

Перенаправление на [текущую] страницу это часто встречаемое поведение при отправке веб-форм — это так называемая Post/Redirect/Get модель, чтобы избежать повторной отправки веб-формы при возможном обновлении страницы или при переходе по закладке.

Поведение когда метод меняется при перенаправлении с POST на GET было распространено в браузерах, но не соответствовало стандарту до rfc 7231, которая узаконила это поведение. pycurl следует поведению браузеров, если CURL_REDIR_POST_* опция не переопределяет поведение (имеет смысл только при включённом CURLOPT_FOLLOWLOCATION).

Чтобы зайти на сайт (чтобы получить cookies), а затем, имея cookies, запросить нужную страницу:

import requests

with requests.Session() as s:
    # get cookies
    s.post(login_url, data=dict(username='user', password='pass', _ca='login')) 
    # use cookies
    html = s.get(ticket_url).content 

Можно явно передавать cookies или сохранять/загружать их из файла.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.