0

Не получается спарсить данные о матчах на Fonbet.ru. В браузере через функцию "Проверить объект" иду в "Сеть" → "XHR". Тут нахожу адрес "https://line52.bkfon-resources.com/events/list?lang=ru&version=7175598316&scopeMarket=1600". Открываю его в форме Json и вижу дерево со всеми мне необходимыми данными. Но как только пытаюсь разобрать его через bs4 получаю всегда пустые скобки []. Где я накосячил? Может чего-то не хватает? Причем в XHR всегда новые "херни" под названием "list" содержащие разные ссылки, отличающиеся только параметрами и цифрами после line. Возможно вопрос тупой, но неделю только учусь программировать и при решении задачи тут застрял. Буду признателен за любые подсказки! Ниже код привожу.

import requests
from bs4 import BeautifulSoup
import csv

URL= 'https://line52.bkfon-resources.com/events/list?lang=ru&version=7175598316&scopeMarket=1600'
HEADERS = {
    'Accept': '*/*',
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.90 Safari/537.36',
}
def get_html(url, params=''):
    r = requests.get(url, headers=HEADERS,params=params)
    return r

def get_content(html):
    soup = BeautifulSoup(html, 'html.parser')
    items = soup.find_all('div', class_='sport-base-event--dByYH')
    cards = []
    print(items)

html = get_html(URL)
get_content(html.text)

1 ответ 1

0

Не очень понятно, чт Вы там супом делать собираетесь

from requests import Session

s = Session()
s.headers = {
    'Accept': 'application/json',
    'User-agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 '
                  '(KHTML, like Gecko) Chrome/27.0.1453.90 Safari/537.36'
}
response = s.get(
    'https://line52.bkfon-resources.com/events/list?lang=ru&version=7175598316&scopeMarket=1600'
)

# предлагаю задампить это дело и вдумчиво изучить 
# на предмет наличия нужной Ваам инфы
import json

with open('dump.json', 'w', encoding='utf-8') as file:
    json.dump(
        file,
        response.json(),
        ensure_ascii=False,
        indent=2
    )
# будет файл на поллимона строк, 
# поэтому открывайте чем нибудь типа notepad++

З.Ы response.json() - это словарь. Нафига там суп? Там супом делать нечего Вывод:

{
  "packetVersion": 7176303574, 
  "fromVersion": 0, 
  "catalogTablesVersion": 3067724, 
  "catalogSpecialTablesVersion": 2911576, 
  "catalogEventViewVersion": 3081801, 
  "sportBasicMarketsVersion": 2340654, 
  "sportKindsVersion": 3057955, 
  "topCompetitionsVersion": 3092806, 
  "sports": [
    {
      "id": 1, 
      "kind": "sport", 
      "sortOrder": "1+++8+++-+++-", 
      "name": "Футбол"
    }, 
    {
      "id": 74126, 
      "parentId": 1, 
      "parentIds": [
        50053, 
        11651
      ], 
      "kind": "segment", 
      "regionId": 1, 
      "sortOrder": "1+++8+++-+++-&uh-zzx+++0+0q1+O+g+AC3+++8+G4C", 
      "name": "Футбол. Кубок Африканских Наций. Камерун. 1/4 финала"
    }, 
    {
      "id": 11918, 
      "parentId": 1, 
      "parentIds": [
        11917
      ], 
      "kind": "segment", 
      "regionId": 643688, 
      "sortOrder": "1+++8+++-+++-&uk1zzx+++S+0uB++4i+0uC", 
      "name": "Футбол. Англия. Премьер-Лига"
    }, 
    {
      "id": 16537, 
      "parentId": 1, 
      "parentIds": [
        35073, 
        11651
      ], 
      "kind": "segment", 
      "sortOrder": "1+++8+++-+++-&ul+zLt+++0+0q1+++4+6Y-+++5+20N", 
      "name": "Футбол. ЧМ-2022. Юж. Америка. Квалификационный раунд. Групповой этап"
    }, 
.....................................
         "v": 1.05
        }, 
        {
          "f": 6836, 
          "v": 7.7
        }
      ]
    }, 
    {
      "e": 32118672, 
      "countAll": 2, 
      "factors": [
        {
          "f": 6835, 
          "v": 8.5
        }, 
        {
          "f": 6836, 
          "v": 1.04
        }
      ]
    }, 
    {
      "e": 32118674, 
      "countAll": 1, 
      "factors": [
        {
          "f": 6835, 
          "v": 17.0
        }
      ]
    }, 
    {
      "e": 32118675, 
      "countAll": 1, 
      "factors": [
        {
          "f": 6835, 
          "v": 25.0
        }
      ]
    }, 
    {
      "e": 32118677, 
      "countAll": 1, 
      "factors": [
        {
          "f": 6835, 
          "v": 111.0
        }
      ]
    }, 
    {
      "e": 32118680, 
      "countAll": 1, 
      "factors": [
        {
          "f": 6835, 
          "v": 121.0
        }
      ]
    }, 
    {
      "e": 32118679, 
      "countAll": 1, 
      "factors": [
        {
          "f": 6835, 
          "v": 121.0
        }
      ]
    }, 
    {
      "e": 32118671, 
      "countAll": 1, 
      "factors": [
        {
          "f": 6835, 
          "v": 301.0
        }
      ]
    }, 
    {
      "e": 32422199, 
      "countAll": 2, 
      "factors": [
        {
          "f": 921, 
          "v": 4.0
        }, 
        {
          "f": 923, 
          "v": 1.2
        }
      ]
    }, 
    {
      "e": 32422198, 
      "countAll": 2, 
      "factors": [
        {
          "f": 921, 
          "v": 1.6
        }, 
        {
          "f": 923, 
          "v": 2.2
        }
      ]
    }, 
    {
      "e": 32422201, 
      "countAll": 2, 
      "factors": [
        {
          "f": 921, 
          "v": 1.2
        }, 
        {
          "f": 923, 
          "v": 4.0
        }
      ]
    }, 
    {
      "e": 32422200, 
      "countAll": 2, 
      "factors": [
        {
          "f": 921, 
          "v": 1.6
        }, 
        {
          "f": 923, 
          "v": 2.2
        }
      ]
    }
  ]
}
1
  • Спасибо большое! Я делаю все по урокам на ютубе, потому суп использовал, как на видео. Но там задачи другие были. Сейчас буду ковыряться-разбираться
    – Todd
    27 янв 2022 в 20:12

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.