Пытаюсь освоить парсинг, не получается вытащить нужные мне элементы список товаров, в консоль смог получить только
<selenium.webdriver.remote.webelement.WebElement (session="8de8c21e83de18d9087bb7e1d99ad534", element="e07fecc6-6dd7-43b0-a4c1-1488f0a93b2a")>
url для парсинга - https://shop.silpo.ua/category/37
Мой код:
import time
import bs4
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
from bs4 import BeautifulSoup
url = 'https://shop.silpo.ua/category/135'
driver = webdriver.Chrome()
driver.set_page_load_timeout(10)
driver.get(url=url)
main_ = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.CLASS_NAME, 'product-list-item')))
article = main_.find_element_by_class_name('product-title')
print(article)
time.sleep(5)
driver.close()
driver.quit()
Я так понимаю, страницы рендерятся скриптами, есть ли способ запустить рендер, и затем вытаскивать html для дальнейшего парсинга через bs4& либо же можно вообще обойтись requests, и не использовать selenium ?
article.text
хотя бы.