3

При парсинге одного сайта невозможно увидеть цены, пока не нажмешь на кнопку выбора города.

<input type="submit" name="yes" value="Да" kl_vkbd_parsed="true">

как можно нажать на нее средствами bs4? Заранее благодарен.

2
  • 1
    выполнить запрос, который выполняет эта кнопка 9 июл 2018 в 18:23
  • 1
    Виталий Шебаниц можете подробнее написать как это сделать а то все говорят что нужно выполнить запрос а как походу никто не знает) 9 июл 2018 в 18:42

1 ответ 1

7

как можно нажать на нее средствами bs4?

Никак. bs4 – библиотека парсинга xml/html, а не сетевая библиотека.

Можно посмотреть через инспектор браузера (обычно на F12 вызывается) какой запрос отправляется при клике на ту кнопку и повторить ее через requests, urlopen или другую удобную вам библиотеку.

Вот пример авторизации через подсмотренный запрос:

import requests
session = requests.session()

rs = session.post('http://newlms.magtu.ru/login/index.php', data={'username': LOGIN, 'password': PASSWORD})
print(rs)

# Если логин / пароль правильный, случится переход на главную страницу
success = rs.url == 'http://newlms.magtu.ru/'
print(success)

if success:
    from bs4 import BeautifulSoup
    root = BeautifulSoup(rs.content, 'lxml')

    print('Меню:')
    for a in root.select('a.menu-action'):
        print('    {} -> {}'.format(a.text, a['href']))

Можно использовать специализированные библиотеки, например robobrowser, которые смогут автоматизировать такие действия как заполнение данных на форме, отправка формы (клик на кнопку) и получение данных.

Вот для примера авторизация на гитхабе:

from robobrowser import RoboBrowser

browser = RoboBrowser(
    user_agent='Mozilla/5.0 (Windows NT 6.1; WOW64; rv:45.0) Gecko/20100101 Firefox/45.0',
    parser='lxml'
)
browser.open('https://github.com/login')

signup_form = browser.get_form()
signup_form['login'].value = LOGIN
signup_form['password'].value = PASSWORD

# Submit the form
browser.submit_form(signup_form)

browser.open('https://github.com/settings/emails')

for tag in browser.select('#settings-emails > li > span.css-truncate-target'):
    print(tag.text)

Другой вариант, более человечный -- использовать selenium. В selenium используется браузер для работы с сайтами и позволяет кликать, нажимать и т.п.

Пример авторизации через клик на кнопку логина:

...
driver = webdriver.Firefox()
driver.get('https://vk.com/')

driver.find_element_by_id('index_email').send_keys(LOGIN)
driver.find_element_by_id('index_pass').send_keys(PASSWORD)

driver.find_element_by_id("index_login_button").click()
...
0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.