2

Использую Selenium + BeautifulSoup, всю html страницу я сохранил в файл с помощью кода ниже. Но как сохранить не всю страницу, а кусочек кода. Например, часть html страницы с классом heading__name?

driver = webdriver.Chrome(options=options)
soup = BeautifulSoup(driver.page_source, "html.parser")
...
html_page = driver.page_source
with open("home_team_injuries.html", "w", encoding="utf-8") as file:
    file.write(html_page)

2 ответа 2

3
from selenium import webdriver
from selenium.webdriver.common.by import By


driver = webdriver.Chrome()
driver.get(
    "https://www.soccerstand.com/ru/player/castrovilli-gaetano/ALBpOZPH/")
# между скобок вписываете URL или путь к html файлу
html_page = driver.find_element(
    By.CSS_SELECTOR,'.heading__name').get_attribute("outerHTML")
with open("home_team_injuries.html", "w", encoding="utf-8") as file:
    file.write(html_page)
3
  • Проверил ваш код по этой странице, искал элементы (By.CLASS_NAME, 'spacer'). Записывает в файл только последний из всех. 10 окт 2022 в 15:45
  • Все верно. Автор задал конкретный вопрос, написав конкретную страницу и класс. Мой код был написан под конкретную страницу и класс соответственно. Для других элементов/классов/страниц нужен другой код.
    – Tester
    10 окт 2022 в 18:18
  • 1
    В вашем случае вы можете попробовать код: elements = driver.find_elements(By.CLASS_NAME, 'spacer') with open("home_team_injuries.html", "w", encoding="utf-8") as file: for element in elements: file.write(element.get_attribute("outerHTML"))
    – Tester
    10 окт 2022 в 18:18
3
driver = webdriver.Chrome(options=options)
soup = BeautifulSoup(driver.page_source, "html.parser")
...
div = soup.select('.heading__name') #В кавычках можно вписать нужный класс или тег
with open("home_team_injuries.html", "w", encoding="utf-8") as file:
    file.write(div.content) # .content выводит вместе с тегами .text просто текст внутри данного тега без дочерних элементов

Также в кавычках можно вписать иерархию дом модели html пример: 'body > .classname > a' Подбираясь к нужному элементу Если в html тегов с нужным классом несколько, тогда можно через цикл их прогнать и выбрать нужный кусок кода

2
  • Проверил ваш код на этой странице выдает ошибку AttributeError: ResultSet object has no attribute 'content'. You're probably treating a list of elements like a single element. Did you call find_all() when you meant to call find()? Искал элементы div = soup.select('.spacer'). 10 окт 2022 в 15:34
  • Возможно у вас в html имеется несколько элементов с классом '.spacer' тогда нужно переменную div прогнать через цикл так как .content и .text и подобные им не вызываются у list, set, tuple.
    – lQS_Tolya
    11 окт 2022 в 3:25

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.