0

В общем... Парсить начал недавно и еще не все понимаю. Я делаю бота который мониторит текущие созданные игры и кидает их в дискорд, в данном случае по команде !stats, которые отображаются на сайте с созданными играми через специальный коннектор, но проблема в том что просто не видит их и я не понимаю почему. Я пробовал парсить на многих библиотеках, но увы все равно не отображало игры. Пробовал также использовать agent user. Сам сайт динамический и постоянно обновляется при наведении курсора на кнопка подключения (она справа) Сайт: https://irinabot.ru

Код:

import requests
import discord
import config
from urllib.request import urlopen
from bs4 import BeautifulSoup as bs
from discord.ext import commands
from discord.ext.commands import Bot


Bot = commands.Bot(command_prefix= '!')
client = discord.Client()

@Bot.event
async def on_ready():
    print("[BOT] Бот запущен")


url = 'https://irinabot.ru'
headers = {'accept': '*/*', 
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 YaBrowser/19.9.0.1343 Yowser/2.5 Safari/537.36'}


@Bot.command()
async def stats(ctx):
    session = requests.Session()
    request = session.get(url, headers=headers)
    soup = bs(request.content, 'lxml')
    inf = soup.find('table', class_='ui table').text
    await ctx.send(inf)
    

Bot.run(config.TOKEN)
1
  • 1) Попробовать связаться с автором сайта, может он на дружественную встречу пойдет и даст доступ к своему API. 2) Сайт динамический и использует даже не AJAX как предположили ниже, а подкачивает данные по websocket, причем данные бинарные, это может быть как свой метод формата, так и какой нть стандартный. Можно опять же либо спросить автора, либо попробовать расковырять самому. 3) Если ничего толком не выйдет - стрелять пушкой, использовать Selenium. 10 мая 2021 в 8:59

1 ответ 1

0

Полагаю что подводят именно обновления.
Скорее всего придётся использовать selenium для решения этой проблемы, так как bs4 с ajax не дружат.
На всякий случай рекомендую убедиться что:

  • Сайт загружен правильно
  • Данный элемент существует

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.