0

я хочу скачать код html страницы но не знаю как ниже приведен код который мне не подходит ведь он скачивает саму страницу , а мне нужен код как при нажатии CTRL + U в Гугл Хром

def down():
    resp = req.get(site)
    soup = BeautifulSoup(resp.text, 'lxml')
    with open('site.html', 'w', encoding='utf-8') as file:
        file.write(str(soup))
1
  • 1
    Вам нужен код что javascript-движок использует
    – gil9red
    Commented 26 апр. 2020 в 1:37

1 ответ 1

0

Можно использовать библиотеку requests_html, чтобы выполнить js-код на странице.

Пример:

# pip install requests-html
from requests_html import HTMLSession

session = HTMLSession()
rs = session.get('https://coronavirus-monitor.ru/statistika/')
with open('rs_before_js.html', 'w', encoding='utf-8') as f:
    f.write(rs.html.html)

rs.html.render()  # Без этого не будет выполнения js кода

with open('rs_after_js.html', 'w', encoding='utf-8') as f:
    f.write(rs.html.html)
2
  • Мне нужно что бы все пробелы остались а при таком сохранении они сбиваются как и при моём коде, нет ли другого способа?
    – krime
    Commented 26 апр. 2020 в 12:37
  • @krime, не понимаю о каких пробелах вы имели ввиду. Если те, что между тегами, то они не имеют значения, а если те, что внутри, то это сомнительно, т.к. они имеют значение и парсер их не должен трогать. А в вашем коде вы делаете ненужную работу, используя парсер. Если вам нужно просто сохранить страницу, то: with open('site.html', 'wb') as f: file.write(resp.content). Если я неправильно понял, то поясните в вопросе что значит код как при нажатии CTRL + U в Гугл Хром: отформатированный, исходный, или отрендеренный (пропущенный через js)
    – gil9red
    Commented 26 апр. 2020 в 13:15

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.