1

Пытаюсь освоить парсинг, не получается вытащить нужные мне элементы список товаров, в консоль смог получить только

<selenium.webdriver.remote.webelement.WebElement (session="8de8c21e83de18d9087bb7e1d99ad534", element="e07fecc6-6dd7-43b0-a4c1-1488f0a93b2a")>

url для парсинга - https://shop.silpo.ua/category/37

Мой код:

import time
import bs4
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
from bs4 import BeautifulSoup
url = 'https://shop.silpo.ua/category/135'
driver = webdriver.Chrome()
driver.set_page_load_timeout(10)
driver.get(url=url)
main_ = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.CLASS_NAME, 'product-list-item')))
article = main_.find_element_by_class_name('product-title')
print(article)

time.sleep(5)
driver.close()
driver.quit()

Я так понимаю, страницы рендерятся скриптами, есть ли способ запустить рендер, и затем вытаскивать html для дальнейшего парсинга через bs4& либо же можно вообще обойтись requests, и не использовать selenium ?

1
  • 1
    Ну вы вытянули элемент из DOM дерева, а не сам текст. Теперь из него извлекайте данные. article.text хотя бы.
    – vitidev
    5 фев 2022 в 23:38

1 ответ 1

0

Вы получили объект элемента, а не его текст

Теперь можно по нему кликнуть, перенести на него фокус мыши и многое другое...

Но вам нужен текст элемента, поэтому:

article = main_.find_element_by_class_name('product-title')
print(f"article text: {article.text}")
1
  • Сработало! Спасибо А подскажите, пожалуйста, а как теперь пройтись по всем товарам на странице? А то у меня получилось вытянуть данные только для одного 6 фев 2022 в 9:58

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.