0

Сразу оговорюсь, что я не являюсь программистом и делаю проект исключительно для личного использования. Прошу учесть это, если мои вопросы или пояснения будут несколько наивны или ошибочны.
Я занимаюсь ставками на лошадиные скачки в Великобритании и для анализа данных мне пришлось освоить (в пределах, необходимых для решения конкретных задач, по мере их возникновения) язык программирования Python.
Итак, суть проекта.
1. С нескольких сайтов я получаю прогнозы коэффициентов на лошадей на сегодняшний день (betting forecast), после их обработки и приведения к нужному мне виду я сохраняю их в отдельные КСВ-файлы.
2. С помощью pandas провожу сравнение датафреймов из полученных csv-файлов с биржевыми коэффициентами, актуальными на момент запуска программы (биржа ставок Betfair), и сохраняю лошадей с коэффициентами на них, подходящих под определённые критерии, в отдельный csv-файл (исходные файлы автоматически удаляются после формирования итогового файла, чтобы не засорять диск).
3. На следующий день повторяю процедуру, получая в итоге файл с ежедневными отборами, подходящими под нужные мне критерии.
Первую часть решил с использованием библиотек requests, Beautiful Soup и csv, освоив их в степени, необходимой для получения html интересующих меня страниц, их обработки и получения нужных мне данных в нужном формате.
Со второй частью сначала вроде тоже всё получилось, поскольку биржевые коэффициенты я получал не непосредственно с биржи ставок Betfair, а с сайта www.oddschecker.com, на котором для каждого забега есть коэффициенты с разных букмекерских контор и бирж, в том числе и с нужного мне Betfair. После их обработки с помощью pandas я смог получить тот результат, на который рассчитывал изначально.
Но со временем я обнаружил, что коэффициенты, которые позиционируются там как коэффициенты биржи Betfair, по большей части отличаются от коэффициентов, которые имеются непосредственно на бирже, что существенно искажает результат, так как в этом моменте мне нужна абсолютная точность.
И вот, собственно, проблема: когда я попытался получить коэффициенты непосредственно с сайта https://www.betfair.com/exchange/plus/ (чтобы увидеть коэффициенты просто в браузере, авторизация не нужна), я столкнулся с тем, что html этой страницы фактически не содержит этих данных, и они генерируются лишь после соответствующего нажатия на ссылку конкретного забега.
Как я понял, это реализовано путём создания js-запроса при нажатии на ссылку, и получения ответа с данными, которые актуальны для этого конкретного забега. Прошу помочь и ответить на следующие вопросы:
1. Возможно ли получение нужных мне коэффициентов средствами python?
2. Если да – то какие библиотеки мне нужно изучить для этого и на какие их функции или классы посоветуете обратить основное внимание для решения моей задачи?

4
  • 1
    я бы сказал в вопросе очень много лишней информации. Коротко - советую открыть консоль отладки в браузере и посмотреть запросы к API бекжнда. Потом можете просто повторить запрос, используя например curl. (к сожалению на сайт зайти не могу, заблокирован в РФ).
    – pavel
    18 фев 2019 в 20:06
  • @Vladimir Nikitin в первую очередь можно попытаться поймать Ajax запросах, их можно увидеть в режиме разработчика в любом браузере. Если же вы не можете его определить, то единственный способ спарсить данные, которые написаны на Javacript, это работать через сам браузер, чтобы он обработал Javascript и сгенерировал HTML - структуру. Для этого вы можете использовать Selenium Webdriver с любым удобным для вас браузером, только не забудьте установить необходимый webdriver для браузера. К сожалению этот способ намного медленнее и тяжелее, чем просто спарсить библиотекой lxml или bs4
    – danilshik
    18 фев 2019 в 20:36
  • , который вы использовали,
    – danilshik
    18 фев 2019 в 20:36
  • Можете посмотреть код у меня в репозитории, например, тут github.com/danilshik/Parsers/blob/develop/…, вам нужен метод Init, как инициализируется браузер, и как искать элементы в методе parse.
    – danilshik
    18 фев 2019 в 20:38

1 ответ 1

1

Это задачка для селениума (+lxml/bs). Сам сейчас подобный парсер пытаюсь написать. Вот пример получения данных из этой страницы (например, строка 1) https://www.betfair.com/sport/horse-racing/meeting?eventId=29141406&dayToSearch=20190221 Вывод не форматировал. Это сами уже

from selenium import webdriver
import lxml
from lxml.html import parse

browser = webdriver.Firefox()
browser.get('https://www.betfair.com/sport/horse-racing/meeting?eventId=29141406&dayToSearch=20190221')
page = browser.page_source
# time.sleep(3)
browser.quit()

doc = lxml.html.fromstring(page)
row = doc.cssselect(".runner-body")[0]
for i in row:
    print(i.text_content().strip())

Результат

Номер
3


Ничья
-SilkЛошадь/Последние результаты

Robin Deuz Pois

444232Жокей/Инструктор
Paddy Brennan 
Paul WebberВозраст
7Вес/(ИЛИ)

11-6
(93)Оборудование
cp3.0Победа или победа/место
  3.25    СЦ

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.