При парсинге одного сайта невозможно увидеть цены, пока не нажмешь на кнопку выбора города.
<input type="submit" name="yes" value="Да" kl_vkbd_parsed="true">
как можно нажать на нее средствами bs4? Заранее благодарен.
Stack Overflow на русском — это сайт вопросов и ответов для программистов. Присоединяйтесь! Регистрация займёт не больше минуты.
Присоединиться к сообществуПри парсинге одного сайта невозможно увидеть цены, пока не нажмешь на кнопку выбора города.
<input type="submit" name="yes" value="Да" kl_vkbd_parsed="true">
как можно нажать на нее средствами bs4? Заранее благодарен.
как можно нажать на нее средствами bs4?
Никак. bs4
– библиотека парсинга xml
/html
, а не сетевая библиотека.
Можно посмотреть через инспектор браузера (обычно на F12 вызывается) какой запрос отправляется при клике на ту кнопку и повторить ее через requests
, urlopen
или другую удобную вам библиотеку.
Вот пример авторизации через подсмотренный запрос:
import requests
session = requests.session()
rs = session.post('http://newlms.magtu.ru/login/index.php', data={'username': LOGIN, 'password': PASSWORD})
print(rs)
# Если логин / пароль правильный, случится переход на главную страницу
success = rs.url == 'http://newlms.magtu.ru/'
print(success)
if success:
from bs4 import BeautifulSoup
root = BeautifulSoup(rs.content, 'lxml')
print('Меню:')
for a in root.select('a.menu-action'):
print(' {} -> {}'.format(a.text, a['href']))
Можно использовать специализированные библиотеки, например robobrowser
, которые смогут автоматизировать такие действия как заполнение данных на форме, отправка формы (клик на кнопку) и получение данных.
Вот для примера авторизация на гитхабе:
from robobrowser import RoboBrowser
browser = RoboBrowser(
user_agent='Mozilla/5.0 (Windows NT 6.1; WOW64; rv:45.0) Gecko/20100101 Firefox/45.0',
parser='lxml'
)
browser.open('https://github.com/login')
signup_form = browser.get_form()
signup_form['login'].value = LOGIN
signup_form['password'].value = PASSWORD
# Submit the form
browser.submit_form(signup_form)
browser.open('https://github.com/settings/emails')
for tag in browser.select('#settings-emails > li > span.css-truncate-target'):
print(tag.text)
Другой вариант, более человечный -- использовать selenium
. В selenium
используется браузер для работы с сайтами и позволяет кликать, нажимать и т.п.
Пример авторизации через клик на кнопку логина:
...
driver = webdriver.Firefox()
driver.get('https://vk.com/')
driver.find_element_by_id('index_email').send_keys(LOGIN)
driver.find_element_by_id('index_pass').send_keys(PASSWORD)
driver.find_element_by_id("index_login_button").click()
...