0

У меня питон версии 3.6, scrapy 1.4. Нужно сделать авторизацию в вконтакте для парсинга моей странички. Пытался протестить примерную авторизацию на другом одностраничнике:

  self.driver = webdriver.Firefox(log_path=None,
                                    executable_path="/home/zik/Programms/Gekodriver/geckodriver")

    self.driver.get(self.start_urls[0])

    self.driver.find_element_by_link_text("Вход").click()
    time.sleep(2)
    log = self.driver.find_element_by_id("user[login]")
    psw = self.driver.find_element_by_id("user[password]")
    btn = self.driver.find_element_by_id("user[submit]")

    log.send_keys(LOGIN)
    psw.send_keys(PASSWORD)
    btn.click()

    cookies = self.driver.get_cookies()

    self.driver.close()

    return Request("https://www.livelib.ru/", cookies=cookies, callback=self.after_login)

После возраста новой странички авторизация не проходит. Пробовал через формы scrapy неудобно, так как много js на клиенте. Помогите, как совместить scrapy + selenium?

3
  • А какая ошибка?
    – nick_gabpe
    30 ноя 2017 в 18:49
  • не пробовали официальное vk api использовать? Если хотите javascript выполнять в рамках scrapy, то есть splash.
    – jfs
    1 дек 2017 в 23:30
  • vk api музыка закрыта. 3 дек 2017 в 22:30

1 ответ 1

0

Одних куки может быть недостаточно, возможно есть всякие токены и прочее. Нужно изучать трафик общения клента и сервера (можно через инструменты разработчика в браузере), а затем воспроизводить все действия через scrapy.

Ну или использовать только Selenium, забирать содержимое страниц через него и далее парсить.

2
  • Через только селениум не могу, ссылка на аудио отдается аяксом и сразу загрузка аудио идем в html его нет, не знаю как спарсить. 8 дек 2017 в 14:56
  • 1
    @ВладЗикунов, руководство vk всеми силами пытается ограничить прослушивание музыки на их сайте, так что тут придется хорошенько постараться. Я бы попробовал реализовать через библиотеку requests. Открываешь мониторинг сети (в браузере инструменты разработчика), изучаешь запросы и пытаешься повторить.
    – suit
    11 дек 2017 в 5:55

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.