0

Когда я пытаюсь вытащить html код карточки у меня ничего не выходит. Постоянно на выходе None.

Сайт на котором осуществляется парсинг: https://pancakeswap.finance/prediction

Код:

import requests as r
from bs4 import BeautifulSoup as bs

url = 'https://pancakeswap.finance/prediction'
headers = {
    'user-agent' : 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Mobile Safari/537.36'
}
page = r.get(url, headers=headers)
soup = bs(page.content, 'lxml')

card1 = soup.find('div', class_='sc-eecfaa46-0 cioUee')
print(card1)

Текущий код после вмешательства Selenium:

import requests as r
from bs4 import BeautifulSoup as bs
from selenium import webdriver
import traceback

url = 'https://pancakeswap.finance/prediction'

driver = webdriver.Chrome()
try:
    driver.implicitly_wait(5)
    driver.get(url)
    print(f'Title: {driver.title!r}')

    card1 = driver.find_element(CLASS_NAME, 'sc-c4ec0fdf-0.sc-eecfaa46-1.dGKbaC.cejqaY')
    card2 = driver.find_element(CLASS_NAME, 'sc-c4ec0fdf-0.hWXObm')
    card3 = driver.find_element(CLASS_NAME, 'sc-c4ec0fdf-0.hWXObm')
    card4 = driver.find_element(CLASS_NAME, 'sc-eecfaa46-0.cioUee')
    card5 = driver.find_element(CLASS_NAME, 'sc-281cc2e7-0.cPpctU')

except:
    print(traceback.format_exc())

finally:
    driver.quit()
7
  • Пожалуйста, не добавляйте код и/или ошибки в виде скриншотов. Неудобно читать, невозможно копировать. Добавьте текстом в вопрос (кнопка править)
    – gil9red
    Commented 5 мар. 2022 в 8:07
  • 1
    Есть совет: попробуйте отредактировать вопрос, вставить код при помощи тега "код" как текст. а то в Вас помидоры полетят. собственно, мой комментарий - это как раз такой пассивно-агрессивный помидор...
    – S.H.
    Commented 5 мар. 2022 в 8:07
  • Проверьте, что тот тег есть: print(page.text), возможно, сайт подгружает его через js (можно на сайте через инспектора отключить js и посмотреть что будет на странице)
    – gil9red
    Commented 5 мар. 2022 в 8:13
  • @gil9red Да, я проверил этого тега там нет. Но каким образом тогда мне парсить?
    – pechenka
    Commented 5 мар. 2022 в 8:27
  • Есть несколько способов: 1) если данные уже на сайте, но в json, тогда вытащить их 2) данные приходят извне, посмотреть какой запрос отправляет сайт для подгрузки и повторить его 3) использовать движок с javascript, типа selenium (ru.stackoverflow.com/a/1353114/201445)
    – gil9red
    Commented 5 мар. 2022 в 8:52

1 ответ 1

0

Нужно указывать через by=By.CLASS_NAME

import requests as r
from bs4 import BeautifulSoup as bs
from selenium import webdriver
from selenium.webdriver.common.by import By
import traceback

url = 'https://pancakeswap.finance/prediction'

driver = webdriver.Chrome()
try:
    driver.implicitly_wait(5)
    driver.get(url)
    print(f'Title: {driver.title!r}')

    card1 = driver.find_element(by=By.CLASS_NAME, 'sc-c4ec0fdf-0.sc-eecfaa46-1.dGKbaC.cejqaY')
    card2 = driver.find_element(by=By.CLASS_NAME, 'sc-c4ec0fdf-0.hWXObm')
    card3 = driver.find_element(by=By.CLASS_NAME, 'sc-c4ec0fdf-0.hWXObm')
    card4 = driver.find_element(by=By.CLASS_NAME, 'sc-eecfaa46-0.cioUee')
    card5 = driver.find_element(by=By.CLASS_NAME, 'sc-281cc2e7-0.cPpctU')

except:
    print(traceback.format_exc())

finally:
    driver.quit()

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.