Когда я пытаюсь вытащить html код карточки у меня ничего не выходит. Постоянно на выходе None.
Сайт на котором осуществляется парсинг: https://pancakeswap.finance/prediction
Код:
import requests as r
from bs4 import BeautifulSoup as bs
url = 'https://pancakeswap.finance/prediction'
headers = {
'user-agent' : 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Mobile Safari/537.36'
}
page = r.get(url, headers=headers)
soup = bs(page.content, 'lxml')
card1 = soup.find('div', class_='sc-eecfaa46-0 cioUee')
print(card1)
Текущий код после вмешательства Selenium:
import requests as r
from bs4 import BeautifulSoup as bs
from selenium import webdriver
import traceback
url = 'https://pancakeswap.finance/prediction'
driver = webdriver.Chrome()
try:
driver.implicitly_wait(5)
driver.get(url)
print(f'Title: {driver.title!r}')
card1 = driver.find_element(CLASS_NAME, 'sc-c4ec0fdf-0.sc-eecfaa46-1.dGKbaC.cejqaY')
card2 = driver.find_element(CLASS_NAME, 'sc-c4ec0fdf-0.hWXObm')
card3 = driver.find_element(CLASS_NAME, 'sc-c4ec0fdf-0.hWXObm')
card4 = driver.find_element(CLASS_NAME, 'sc-eecfaa46-0.cioUee')
card5 = driver.find_element(CLASS_NAME, 'sc-281cc2e7-0.cPpctU')
except:
print(traceback.format_exc())
finally:
driver.quit()
print(page.text)
, возможно, сайт подгружает его через js (можно на сайте через инспектора отключить js и посмотреть что будет на странице)