2

У меня почему-то не получается извлечь данные. Как можно это сделать?

Я подчеркнул что нужно достать.

введите сюда описание изображения

Вот код парсера:

def get_content(html):
    soup = BeautifulSoup(html, 'html.parser')
    items = soup.find_all('div', class_='page__content')

    something = []
    for item in items:
        something.append({
            'name': item.find('td', class_='summary-data__cell').get_text(strip=True),
        })

    print(something)
3
  • 1
    какой адрес страницы-донора?
    – Jack_oS
    Commented 21 мая 2021 в 14:32
  • 1
    Я не совсем понимаю, что такое адрес страницы-донора. Вот ссылка на сайт nasdaq.com/market-activity/stocks/nvda
    – human03289
    Commented 21 мая 2021 в 14:36
  • 1
    @human03289, там таблица не приходит с страницей, она либо отдельным запросом подгружается, либо уже заготовлена в виде json/javascript и через javascript рендерится в таблицу html. Я бы просто сделал парсер через selenium :)
    – gil9red
    Commented 21 мая 2021 в 14:44

1 ответ 1

6

Если открыть код, который присылает страница, то можно найти только пустую заготовку для таблицы:

введите сюда описание изображения

а сами данные прилетают позже и скриптом добавляются в нее....

import requests


url = 'https://api.nasdaq.com/api/quote/NVDA/summary?assetclass=stocks'
headers = {'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36'}

r = requests.get(url, headers=headers)
data = r.json()['data']['summaryData']

в data - словарь с данными для таблицы:

>>> data
{
    'Exchange': {'label': 'Exchange', 'value': 'NASDAQ-GS'}, 
    'Sector': {'label': 'Sector', 'value': 'Technology'}, 
    'Industry': {'label': 'Industry', 'value': 'Semiconductors'},
    'OneYrTarget': {'label': '1 Year Target', 'value': '$665.00'}, 
    'TodayHighLow': {'label': "Today's High/Low", 'value': '$608.88/$596.57'}, 
    'ShareVolume': {'label': 'Share Volume', 'value': '7,161,505'},
    'AverageVolume': {'label': 'Average Volume', 'value': '7,281,171'}, 
    'PreviousClose': {'label': 'Previous Close', 'value': '$584.50'}, 
    'FiftTwoWeekHighLow': {'label': '52 Week High/Low', 'value': '$648.57/$319.87'}, 
    'MarketCap': {'label': 'Market Cap', 'value': '372,123,163,409'},
    'PERatio': {'label': 'P/E Ratio', 'value': 86.78}, 
    'ForwardPE1Yr': {'label': 'Forward P/E 1 Yr.', 'value': '55.61'}, 
    'EarningsPerShare': {'label': 'Earnings Per Share(EPS)', 'value': '$6.89'}, 
    'AnnualizedDividend': {'label': 'Annualized Dividend', 'value': '$0.64'}, 
    'ExDividendDate': {'label': 'Ex Dividend Date', 'value': 'Mar 9, 2021'}, 
    'DividendPaymentDate': {'label': 'Dividend Pay Date', 'value': 'Mar 31, 2021'}, 
    'Yield': {'label': 'Current Yield', 'value': '0.11%'}, 
    'Beta': {'label': 'Beta', 'value': 1.38}
}

ваше значение для Beta находится в:

>>> data['Beta']['value']
1.38
2
  • А как вы узнали URL HTML таблицы? На этой странице nasdaq.com/market-activity/stocks/screener тоже есть таблица, но я не могу найти url.
    – human03289
    Commented 24 мая 2021 в 8:30
  • оформляйте вопросом, посмотрю... вы как искали, откуда приходят данные в таблицу? devTools - Network?
    – Jack_oS
    Commented 24 мая 2021 в 8:46

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.