2

коллеги! Подскажите, что не так делаю. Задача собирать с сайта курсы валют по дням и укладывать их в аккуратную табличку. Что я делаю: 1. сформировал список ссылок по которым нужно данные собрать 2. с помощью request скачал данные по этим ссылкам, хотя кажется сделал это не правильно, так как вижу данные за текущий месяц 3. дальше перевел их в строковый формат и завис, что делать дальше не знаю.

Код такой:

from bs4 import BeautifulSoup
import requests

url_list = []
for i in range(1,13):
    url = 'https://www.calc.ru/kotirovka-yevro.html?date=2018-'

    if len(str(i)) == 1:
        url_list.append((url + str(0) + str(i)))
    else:
        url_list.append(url + str(i))

for link in url_list:
    r = requests.get(link)
    soup = BeautifulSoup(r.text, 'lxml')
    table = soup.findAll('table', class_='result_table')

for row in table:
    print (row.text)

Направьте, что делать дальше, пожалуйста!

1 ответ 1

3

Я бы воспользовался уже знакомым вам модулем Pandas:

import pandas as pd


def get_xrates(year_from, year_to=None, month_from=1, month_to=None,
               cur='dollar-ssha'):
    url_pat='https://www.calc.ru/kotirovka-{}.html?date={}-{:02}'
    year_to = year_to or year_from
    month_to = month_to or month_from
    dfs = []
    for y in range(year_from, year_to+1):
        for m in range(month_from, month_to+1):
            df = (pd.read_html(url_pat.format(cur, y, m), skiprows=1)[1]
                    .rename(columns={0:'date', 1:'xrate'}))
            df['date'] = pd.to_datetime(df['date'], dayfirst=True)
            dfs.append(df)
    return pd.concat(dfs, ignore_index=True).sort_values('date')

PS советую также добавить различные проверки правильности указанных параметров...


Пример:

In [179]: eur = get_xrates(year_from=2018, month_from=4, month_to=5, cur='yevro')

In [180]: usd = get_xrates(year_from=2018, month_from=4, month_to=5, cur='dollar-ssha')

In [181]: eur
Out[181]:
         date    xrate
29 2018-04-01  70.5618
28 2018-04-02  70.5618
27 2018-04-03  70.6038
26 2018-04-04  70.9207
25 2018-04-05  70.9580
24 2018-04-06  70.5926
23 2018-04-07  70.7069
..        ...      ...
36 2018-05-12  73.5145
35 2018-05-13  73.5145
34 2018-05-14  73.5145
33 2018-05-15  73.9430
32 2018-05-16  73.8601
31 2018-05-17  73.7796
30 2018-05-18  73.0236

[48 rows x 2 columns]

In [182]: usd
Out[182]:
         date    xrate
29 2018-04-01  57.2649
28 2018-04-02  57.2649
27 2018-04-03  57.2850
26 2018-04-04  57.5375
25 2018-04-05  57.7646
24 2018-04-06  57.5796
23 2018-04-07  57.8332
..        ...      ...
36 2018-05-12  61.7354
35 2018-05-13  61.7354
34 2018-05-14  61.7354
33 2018-05-15  61.7684
32 2018-05-16  61.9164
31 2018-05-17  62.3033
30 2018-05-18  61.8215

[48 rows x 2 columns]
2
  • Ух, ты!Круто!@MaxU, спасибо большое! 17 мая 2018 в 14:01
  • @DenisNovik, всегда рад помочь :) 17 мая 2018 в 14:53

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.