0

Подскажите пожалуйста, как спарсить эту страницу: https://www.re-store.ru/catalog/MYD82RU-A/. Мой парсер в теге body вместо кода html выводит js скрипты. Код парсера:

from bs4 import BeautifulSoup
import requests

url = 'https://www.re-store.ru/catalog/MYD82RU-A/'
page = requests.get(url)
print(page.status_code)



soup = BeautifulSoup(page.text, "html.parser")



print(soup)

И еще, можно ли парсить комментарии?

3
  • 2
    bs4 парсер html/xml, а для работы с js нужен движок на js. Используйте selenium
    – gil9red
    30 ноя 2020 в 16:03
  • это html страница, но почему-то при парсинге выдает js скрипты
    – Vladimir
    30 ноя 2020 в 17:01
  • В html хранится: html, js, css, base64 (часто для хранения картинок), svg (иконки). Когда вы такую страницу откроете браузером он выполнит js код и добавятся данные в html
    – gil9red
    30 ноя 2020 в 20:08

1 ответ 1

2

В таких ситуациях (когда страница в Просмотреть код страницы отличается от того, что выводит python) лучше использовать selenium, как и подсказал gil9red. Он сымитирует ваш браузер. Подобный код я применял в своем проекте.

from bs4 import BeautifulSoup
from selenium import webdriver
import time

url = r'https://www.re-store.ru/catalog/MYD82RU-A/'


def get_html_new(url=None):
    browser = webdriver.Chrome()
    browser.get(str(url))
    html = browser.page_source
    time.sleep(2)
    return html


html = get_html_new(url=url)
soup = BeautifulSoup(html, 'lxml')
teg = soup.find("body")
print(teg)
1
  • Ваш код выдает ошибку:
    – Vladimir
    1 дек 2020 в 4:43

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.