1

Скачиваю данные с сайта cbr.ru. Проблема в том, что на странице находятся данные за один день, поэтому, чтобы получить данные за год надо перелистать много страниц.

Одна страница даёт следующее:

import requests
import pandas as pd

url = https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=11.03.2014
df = pd.read_html(url, index_col=0)
dfs = df[0]
dfs

получаю следующую таблицу:

таблица

А мне надо скачать данные за несколько лет и преобразовать таблицу, чтобы заголовки строк стали заголовками столбцов, а заголовками строк были даты:

преобразованная таблица

Как это сделать?

0

1 ответ 1

3

попробуйте так:

from datetime import datetime as DT

def parse_url(
        dt, 
        url_pat="https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT={}",
        dt_fmt="%d.%m.%Y",
        verbose=0):
    def pr(*args):
        if verbose > 0:
            print(*args)
    # преобразуем параметр `dt` в строку нужного формата даты,
    # если параметр иммет тип данных соответствующий `datetime`
    if isinstance(dt, (DT, pd._libs.tslibs.timestamps.Timestamp)):
        dt = dt.strftime(dt_fmt)
    # создаём конечный URL из шаблона, указав нужную дату
    url = url_pat.format(dt)
    pr(f"parsing URL: [{url}]")
    # парсим данные из WEB страницы в Pandas.DataFrame
    # и избавляемся от имени индекса 
    df = pd.read_html(url, index_col=0)[0].rename_axis(None)
    # парсим реальную дату из последней строки df: "... с датой проведения XX.XX.XXXX"
    real_date = df.index[-1][-10:]
    if real_date != dt:
        pr(f"WARNING: couldn't find any data for [{dt}], parsing the latest available date instead: [{real_date}] !")
    # удаляем дату из индекса
    df = df.rename(index={df.index[-1]: df.index[-1][:-30]})
    # переименовываем столбец так, чтобы имя столбца соответствовало полученной дате `real_date`
    df = df.rename(columns={1: real_date})
    # возвращаем _транспонированный_ DataFrame
    return df.T

пример вызова:

dt_from = "2020-01-01"
dt_to = DT.today()
# запускаем функцию для каждого вторника из указанного диапазона дат
# и объединяем полученные фреймы в один
res = pd.concat([parse_url(d, verbose=1) 
                 for d in pd.date_range(dt_from, dt_to, freq="W-TUE")])
res = res.drop_duplicates(keep="last")

вывод:

In [87]: res = pd.concat([parse_url(d, verbose=1) for d in pd.date_range(dt_from, dt_to, freq="W-TUE")])
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=07.01.2020]
WARNING: couldn't find any data for [07.01.2020], parsing the latest available date instead: [18.08.2020] !
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=14.01.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=21.01.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=28.01.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=04.02.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=11.02.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=18.02.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=25.02.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=03.03.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=10.03.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=17.03.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=24.03.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=31.03.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=07.04.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=14.04.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=21.04.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=28.04.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=05.05.2020]
WARNING: couldn't find any data for [05.05.2020], parsing the latest available date instead: [18.08.2020] !
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=12.05.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=19.05.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=26.05.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=02.06.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=09.06.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=16.06.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=23.06.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=30.06.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=07.07.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=14.07.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=21.07.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=28.07.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=04.08.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=11.08.2020]
parsing URL: [https://www.cbr.ru/statistics/pffl/?UniDbQuery.Posted=True&UniDbQuery.DT=18.08.2020]
6
  • Таблица получилась правильная, но к сожалению не парсит по другим датам.
    – Trulimon
    15 авг 2020 в 10:24
  • прокомментируйте пожалуйста скрипт. По отдельности я нашёл,что означают методы, но всё вместе не получается связать.
    – Trulimon
    19 авг 2020 в 11:02
  • 1
    @Trulimon, добавил комментарии в код... 19 авг 2020 в 11:48
  • 1
    @Trulimon, нашёл баг - в URL отсутствовал & между True&UniDbQuery.DT :( Сейчас должно правильно работать... 19 авг 2020 в 15:26
  • 1
    сам я ещё не способен так красиво написать код. Запарсил все данные с 2012-12-04, двадцать дат не найдено. Сегодня в ручную добавлю, а завтра хочу добавить условие: если не найдена дата, то проверить соседние 6 дат вперёд и назад.
    – Trulimon
    19 авг 2020 в 18:58

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.