3

При парсинге одного сайта невозможно увидеть цены, пока не нажмешь на кнопку выбора города.

<input type="submit" name="yes" value="Да" kl_vkbd_parsed="true">

как можно нажать на нее средствами bs4? Заранее благодарен.

2
  • 1
    выполнить запрос, который выполняет эта кнопка 9 июл 2018 в 18:23
  • 1
    Виталий Шебаниц можете подробнее написать как это сделать а то все говорят что нужно выполнить запрос а как походу никто не знает) 9 июл 2018 в 18:42

1 ответ 1

7

как можно нажать на нее средствами bs4?

Никак. bs4 – библиотека парсинга xml/html, а не сетевая библиотека.

Можно посмотреть через инспектор браузера (обычно на F12 вызывается) какой запрос отправляется при клике на ту кнопку и повторить ее через requests, urlopen или другую удобную вам библиотеку.

Вот пример авторизации через подсмотренный запрос:

import requests
session = requests.session()

rs = session.post('http://newlms.magtu.ru/login/index.php', data={'username': LOGIN, 'password': PASSWORD})
print(rs)

# Если логин / пароль правильный, случится переход на главную страницу
success = rs.url == 'http://newlms.magtu.ru/'
print(success)

if success:
    from bs4 import BeautifulSoup
    root = BeautifulSoup(rs.content, 'lxml')

    print('Меню:')
    for a in root.select('a.menu-action'):
        print('    {} -> {}'.format(a.text, a['href']))

Можно использовать специализированные библиотеки, например robobrowser, которые смогут автоматизировать такие действия как заполнение данных на форме, отправка формы (клик на кнопку) и получение данных.

Вот для примера авторизация на гитхабе:

from robobrowser import RoboBrowser

browser = RoboBrowser(
    user_agent='Mozilla/5.0 (Windows NT 6.1; WOW64; rv:45.0) Gecko/20100101 Firefox/45.0',
    parser='lxml'
)
browser.open('https://github.com/login')

signup_form = browser.get_form()
signup_form['login'].value = LOGIN
signup_form['password'].value = PASSWORD

# Submit the form
browser.submit_form(signup_form)

browser.open('https://github.com/settings/emails')

for tag in browser.select('#settings-emails > li > span.css-truncate-target'):
    print(tag.text)

Другой вариант, более человечный -- использовать selenium. В selenium используется браузер для работы с сайтами и позволяет кликать, нажимать и т.п.

Пример авторизации через клик на кнопку логина:

...
driver = webdriver.Firefox()
driver.get('https://vk.com/')

driver.find_element_by_id('index_email').send_keys(LOGIN)
driver.find_element_by_id('index_pass').send_keys(PASSWORD)

driver.find_element_by_id("index_login_button").click()
...
0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.