1

Помогите, пожалуйста! Пытаюсь получить фрагмент html-кода сайта https://coinmarketcap.com/ с помощью BS4:

import requests as req 
from bs4 import BeautifulSoup as BS

def get_html(url): 
    resp=req.get(url)                     
    return resp.text   

def get_page_data(html):
    soup = BS(html,'lxml')
    trs=soup.find('table').find('tbody').find_all('tr')
    for tr in trs:
        name=trs[0].find('div').find('a').find('div').find('p').text
        ticker=trs[0].find('div').find('a').find('div').find('p', class_='sc-AxhUy bzeXdk coin-item-symbol').text
        url='https://coinmarketcap.com' + trs[0].find('a').get('href')
        price=trs[0].find('div', class_='price___3rj7O').find('a').text
    data={'name':name,   
          'ticker':ticker,
          'url':url,
          'price':price}
    print(data)  

def main():
    url='https://coinmarketcap.com/'
    get_page_data(get_html(url))

if __name__ == '__main__':         
    main()

Достаю название крипты name, ее рыночный тикер ticker, ссылку на подробную информацию о ней url и нынешнюю цену price. Для одной строки талицы все получается отлично, создаю словарь, чтоб удобно выводилось. Однако, когда через for хочу повторить эти операции для всех строк таблицы все ломается на функции составлении списка из всех меток 'td' в каждой метке 'tr' (перва строчка в цикле for):

def get_page_data(html):
    soup = BS(html,'lxml')
    trs=soup.find('table').find('tbody').find_all('tr')
    for tr in trs:
        tds=tr.find_all('td')
        name=tds[2].find('div').find('a').find('div').find('p').text
        ticker=tds[2].find('div').find('a').find('div').find('p', class_='sc-AxhUy bzeXdk coin-item-symbol').text
        url='https://coinmarketcap.com' + tds[2].find('a').get('href')
        price=tds[3].find('div', class_='price___3rj7O').find('a').text
    data={'name':name,   
          'ticker':ticker,
          'url':url,
          'price':price}
    print(data)

Достаю название крипты name, ее рыночный тикер ticker, ссылку на подробную информацию о ней url и нынешнюю цену price. Для одной строки талицы все получается отлично, создаю словарь, чтоб удобно выводилось. Однако, когда через for хочу повторить эти операции для всех строк таблицы все ломается на функции составлении списка из всех меток 'td' в каждой метке 'tr' (перва строчка в цикле for):

Собирается список из всего, что находится в метках 'td', но далее, когда я пытаюсь доставать нужные мне 'td' по индексу списка (например, название криптовалют лежат в третьей 'td', отсюда индекс 2 и т.д.) мне выдает IndexError: list index out of range уже на строчке, где я пытаюсь достать name: name=tds[2].find('div').find('a').find('div').find('p').text. Вопрос: в чем моя ошибка и как тогда можно выполнить достать имя, тикер, ссылку и цену для всех строк таблицы? Заранее спасибо за ответ!

1 ответ 1

1

Ну вот так выводит чуть больше:

        tds=tr.find_all('td')
        try:
            name=tds[2].find('div').find('a').find('div').find('p').text
            ticker=tds[2].find('div').find('a').find('div').find('p', class_='sc-AxhUy bzeXdk coin-item-symbol').text
            url='https://coinmarketcap.com' + tds[2].find('a').get('href')
            price=tds[3].find('div', class_='price___3rj7O').find('a').text
            data={'name':name,   
                  'ticker':ticker,
                  'url':url,
                  'price':price}
            print(data) 
        except:
            pass

Дальше там нужно разбираться, видимо формат таблиц меняется.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.