1

я пытаюсь спарсить с сайта https://betzona.ru/live-tennis.html нужные мне данные. Но данные которые мне нужны находятся в разных div и class. Вот мой код:

import requests
from bs4 import BeautifulSoup as bs

url = "https://betzona.ru/resultsOnline/AjaxLoadLivePage?so=this&date=2019-07-23&sport_id=2398"  # адресс парсинга

# имитация пользователя
headers = {'accept': '*/*',
           'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'}

# тело парсера
def betzone_parser(url, headers):

    session = requests.Session()
    request = session.get(url, headers=headers)

    if request.status_code == 200:  # если страница отзывается, то парсим
        soup = bs(request.content, 'lxml')

        ligs = soup.find_all('div', {'class', 'h3'})
        maths = soup.find_all('li', {'class', 'no_live_result'})

        for lig, math in zip(ligs, maths):

            id_lig = lig.find('label', {'class', 'live_checkbox'}).find('input', id=True)['id'].strip().replace("tour_", "")
            id_math = math.find('label', {'class', 'live_checkbox'}).find('input', id=True)['id'].strip().split("_")[1]
            print(id_lig)
            print(id_math)    


    else:  # если страница не отзывается, то ошибка
        print('ERROR')

betzone_parser(url, headers)  # делаем запрос к парсеру

Как можно перебрать две переменные ligs и maths в одном цикле. Данными являются ID лиг и матчей, но матчи вложены в лиги. Поэтому я хочу проводить соответсвие и присваивать по ID матчам названия их лиг.

Помогите пожалуйста с кодом))

1
  • Приведите, пожалуйста, исчерпывающий пример выходных данных на языке Python.
    – nomnoms12
    Commented 27 июл. 2019 в 15:45

1 ответ 1

2

Есть гораздо более простой способ.

Стоит лишь внимательно изучить код страницы, и можно заметить, что в каждом li (в каждом матче) есть такой элемент:

<input id="tour_85373_1657214" ...>

85373 - id лиги
1657214 - id матча

В своём коде Вы его и так парсите, но почему то берёте только первое число и считаете, что это id матча (хотя это не так)

Вот эта строка:

id_math = math.find('label', {'class', 'live_checkbox'}).find('input', id=True)['id'].strip().split("_")[1]


UPD2:

Предлагаю парсить отдельно div (лиги) и отдельно li (матчи).

Так как при парсинге мы будем знать, к какой лиге принадлежит каждый матч, то связать их будет очень просто, например, если хранить id лиг в словаре.

Пример:

import requests
from bs4 import BeautifulSoup as bs


def parse(url):
    request = requests.get(url)
    soup = bs(request.content, 'lxml')

    leagues = soup.find_all('div', {'class', 'h3'})
    matches = soup.find_all('li')

    leagues_d = {}
    for league in leagues:
        leagueId = league.find('input')['id'].split('_')[1]
        leagueTitle = league.getText().strip()

        leagues_d[leagueId] = leagueTitle

    matches_l = []
    for match in matches:
        _, leagueId, matchId = match.find('input')['id'].split('_')
        partners = [tag.getText() for tag in match.find_all('span', {'class', 'name'})]
        time = match.find('span', {'class', 'date'}).getText()
        result = match.find('span', {'class', 'result'}).getText().strip()

        matches_l.append({
            'id': matchId,
            'partners': partners,
            'result': result,
            'leagueId': leagueId,
            'leagueTitle': leagues_d[leagueId],
            'time': time,
        })

    return matches_l


if __name__ == '__main__':
    url = 'https://betzona.ru/resultsOnline/AjaxLoadLivePage?so=this&date=2019-07-23&sport_id=2398'
    print(parse(url))

В результате напечатается список с подробной информацией о каждом матче.

Вот пример одного из элементов списка (полный не поместился в ответ):

{
    'id': '1657214',
    'partners': ['Л.Самсонова', 'Д.Фурлис'],
    'result': '2:0 (6:3, 6:4)',
    'leagueId': '85373',
    'leagueTitle': 'WTA. Категория Интернешнл. Палермо, Италия. Одиночный разряд. 1/16 финала',
    'time': '00:00',
}

Надеюсь, что этой информации хватит, чтобы как угодно её сгруппировать.


Например, чтобы вывести информацию о матче и лиге, можно сделать так:

result = parse(url)

for match in result:
    partners = ' - '.join(match['partners'])
    print(
        f"Лига: {match['leagueTitle']}\n"
        f"Матч: {match['time']} {partners} {match['result']}\n"
    )

Срез из stdout:

Лига: WTA. Категория Интернешнл. Палермо, Италия. Одиночный разряд. 1/16 финала
Матч: 23:00 М.Тревизан - А.Корнэ 1:2 (7:6, 4:6, 1:6)

Лига: WTA. Категория Интернешнл. Палермо, Италия. Парный разряд. 1/8 финала
Матч: 20:50 Э.Бай/Н.Гойер - Г.Сэ/П.Гонсалвес 2:1 (6:2, 3:6, 1:0)
6
  • А как тогда присвоить каждому из матчей название лиг в которых они состоят?
    – Sober Frog
    Commented 26 июл. 2019 в 20:59
  • @SoberFrog Просто отдельно спарсить. Мы знаем, к какой лиге относится каждый матч, поэтому в этом нет никаких проблем. Я обновил ответ и добавил в вывод ключ title, в котором и содержится название лиги.
    – nomnoms12
    Commented 26 июл. 2019 в 21:17
  • Не могу понять, как теперь вывести матч + его лига
    – Sober Frog
    Commented 27 июл. 2019 в 17:34
  • @SoberFrog Я обновил ответ. Спарсил всё, что попалось под руку. Надеюсь, теперь Вам хватит данных для группировки.
    – nomnoms12
    Commented 27 июл. 2019 в 18:54
  • очень здорово))) Спасибо огроменное Вам))) Теперь буду разбираться с кодом) Вы мне очень помогли)))
    – Sober Frog
    Commented 27 июл. 2019 в 19:43

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.