У меня питон версии 3.6, scrapy 1.4. Нужно сделать авторизацию в вконтакте для парсинга моей странички. Пытался протестить примерную авторизацию на другом одностраничнике:
self.driver = webdriver.Firefox(log_path=None,
executable_path="/home/zik/Programms/Gekodriver/geckodriver")
self.driver.get(self.start_urls[0])
self.driver.find_element_by_link_text("Вход").click()
time.sleep(2)
log = self.driver.find_element_by_id("user[login]")
psw = self.driver.find_element_by_id("user[password]")
btn = self.driver.find_element_by_id("user[submit]")
log.send_keys(LOGIN)
psw.send_keys(PASSWORD)
btn.click()
cookies = self.driver.get_cookies()
self.driver.close()
return Request("https://www.livelib.ru/", cookies=cookies, callback=self.after_login)
После возраста новой странички авторизация не проходит. Пробовал через формы scrapy неудобно, так как много js на клиенте. Помогите, как совместить scrapy + selenium?