3

пишу небольшой парсер курсов валют на языке python и библиотеках requests и beautifulsoup4.

  1. Вот сайт который я хочу спарсить.
  2. Вот код парса необходимых мне tr
def parse():
    URL = 'http://sky.bank/uk/currency'
    HEADERS = {
        'user-agent': 'my user agent'
    }
    response = requests.get(URL, headers=HEADERS, verify=False)
    soup = BeautifulSoup(response.content, 'html.parser')
    items = soup.findAll('tr')
    print(items[1])
    print(items[2])
    print(items[3])

Если вызвать данную функцию то будет видно что внутри tr есть 3 тэга 1-валюта, 2-курс покупки, 3-курс продажи. Так же можно увидеть что каждый из курсов покупки имеет в себе цифры 33.6, а каждый из курсов продажи имеет в себе цифры 33.9, но на сайте там совершенно другие цифры, насколько я понимаю, эти данные динамические. Так вот вопрос: как корректно спарсить эти цифры?

8
  • 1
    с помощью selenium
    – FotonPC
    27 янв 2022 в 20:49
  • 1
    можно выбрать другой сайт
    – FotonPC
    27 янв 2022 в 20:50
  • 1
    Почитайте это, поймете, что у сайта есть API, от куда он и берет данные, достаточно отправить POST запрос на этот API и получите все в красивом JSON.
    – EvgeniyZ
    27 янв 2022 в 21:30
  • @Filps - "Если вызвать данную функцию" - Да не обязательно вызывать эту функцию... Достаточно зайти на страничку, которую Вы парсите и выбрать в меню "Показать исходный код страницы". И там будет видны эти самые 33.6 и 33.9. Так что, проблема не в том, что BeautifulSoup неправильно парсит, а в том, что интерпретируются эти цифирки как-то не так...
    – Sergey
    28 янв 2022 в 3:05
  • @EvgeniyZ -"у сайта есть API" - Далеко не у всех сайтов есть API. Более того, у подавляющего большинства сайтов его нет. Есть сервисы, содержащие тематические списки сайтов, имеющих API. Например - DaData: dadata.ru/api Можно порыться там и найти что-то подходящее.
    – Sergey
    28 янв 2022 в 3:09

2 ответа 2

5
from bs4 import BeautifulSoup as Soup
from fake_useragent import UserAgent
from requests_html import HTMLSession

ua = UserAgent()
s = HTMLSession()
response = s.get(
    'http://sky.bank/uk/currency',
    headers={
        'User-Agent': ua.chrome
    }
)

response.html.render(
    sleep=2,
    scrolldown=True
)

soup = Soup(response.html.raw_html, 'html.parser')
data = [item.get_text(strip=True) for item in  soup.find_all('td', {'data-currency': 'EUR'})]
print(data)

# Запускал в течении 5 минут несколько раз. Вывод одинаковый
# Соответствующий данным на сайте

Вывод

['32.20', '32.35']
3

У сайта есть API и если, при открытии страницы, посмотреть какие запросы посылает сайт, то найдем такие ссылки:

Так что, мы можем их повторить.

Кст,:

  • Не все сайты имеют данные по валюте, поэтому в API их больше, чем отображается
  • Валюта приходит в меньшем номинале (копейки, центы и т.п.), поэтому в ответе есть и указание на сколько делить (см. buy_unit и sell_unit)
  • Делить лучше как Decimal (чтобы указать максимальную точность, типа 2 знака после запятой и т.п.), чем float, но для простоты решения оставил float

Пример:

import requests


session = requests.session()
session.headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:94.0) Gecko/20100101 Firefox/94.0'


URL_GET_OFFICES = 'https://api.sky.bank/currency/get-offices-list'
URL_RATES_BY_CODES = 'https://api.sky.bank/currency/rates-by-codes'


rs = session.get(URL_GET_OFFICES)

office_id_by_name = {
    x['id']: x['sname'] for x in rs.json()['response']
}
print(office_id_by_name)
# {24: '1 ФИЛИАЛ (закр)', 2: 'АТ "СКАЙ БАНК"', 25: 'Барвінківське відділення', 4: 'БАРВ.Ф.АКРБ "РЕГ_ОН-БАНК" ...

rs = session.post(URL_RATES_BY_CODES)
currency_by_rates = rs.json()['response']
print(currency_by_rates)
# {'EUR': [{'id': 839871, 'currency_id': 4, 'unit': None, 'rate': None, 'date': '2022-01-28T00:00:00+02:00', ...

print()

for office_id, name in office_id_by_name.items():
    print(f'{name} (#{office_id}):')

    for currency_name, rates in currency_by_rates.items():
        for rate in rates:
            if rate['office_id'] == office_id:
                buy_rate = rate["buy_rate"]
                sell_rate = rate["sell_rate"]
                print(f'    {currency_name}: {buy_rate} | {sell_rate}')

    print()

Результат:

1 ФИЛИАЛ (закр) (#24):

АТ "СКАЙ БАНК" (#2):
    EUR: 32.2 | 32.35
    RUB: 0.362 | 0.371
    USD: 28.85 | 28.95

Барвінківське відділення (#25):

БАРВ.Ф.АКРБ "РЕГ_ОН-БАНК",М.БАРВ_НКОВЕ (#4):

Виртуальное ТОБО АТ "СКАЙ БАНК" (#29):
    EUR: 32.2 | 32.35
    RUB: 0.362 | 0.371
    USD: 28.85 | 28.95

Днепр (#22):

Київське відділення №1 (#21):
    EUR: 32.17 | 32.32
    RUB: 0.361 | 0.37
    USD: 28.82 | 28.9

Ф-Я N 1 АКРБ  "РЕГ_ОН-БАНК",ХАРК_В (#3):

Харківське відділення №1 (#6):
    EUR: 32.2 | 32.35
    RUB: 0.362 | 0.371
    USD: 28.85 | 28.95

Харківське відділення №11 (#16):

Харківське відділення №12 (#17):

Харківське відділення №13 (#18):

Харківське відділення №14 (#19):

Харківське відділення №2 (#7):
    EUR: 32.2 | 32.35
    RUB: 0.362 | 0.371
    USD: 28.85 | 28.95

Харківське відділення №3 (#8):
    EUR: 32.2 | 32.35
    RUB: 0.362 | 0.371
    USD: 28.85 | 28.95

Харківське відділення №4 (#9):
    EUR: 32.2 | 32.35
    RUB: 0.362 | 0.371
    USD: 28.85 | 28.95

Харківське відділення №5 (#10):
    EUR: 32.2 | 32.35
    RUB: 0.362 | 0.371
    USD: 28.85 | 28.95

Харківське відділення №7 (#12):

Харківське відділення №8 (#13):

Харківське головне відділення (#14):
    EUR: 32.2 | 32.35
    RUB: 0.362 | 0.371
    USD: 28.85 | 28.95

Харківське Центральне відділення (#23):
    EUR: 32.2 | 32.35
    RUB: 0.362 | 0.371
    USD: 28.85 | 28.95

ХВ N10 АТ `РЕГІОН-БАНК` (#15):

ХВ N15 АТ `РЕГІОН-БАНК` (#20):

ХВ N6 АТ `РЕГІОН-БАНК` (#11):

ХФ БАРВЕНКОВО(ЗАКР) (#26):

Чугуев филилал (Закр) (#28):

Чугуївське відділення (#27):

ЧУГУЇВ.Ф.АКРБ "РЕГ_ОН-БАНК", М.ЧУГУЇВ (#5):

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.