1

Делаю простой парсер. Хочу вывести количество подписчиков Youtube канала, для этого пытаюсь получить html код и оттуда найти значение подписчиков, но почему то получить html код не получается, выводит код, который не содержит нужное значение. Вот мой кусок кода. Как можно получить html код, который будет содержать значение подписчиков? (Нужно сделать без Youtube API)

import requests
from bs4 import BeautifulSoup

r =requests.get("https://www.youtube.com/c/ikakProsto")
soup = BeautifulSoup(r.text, 'html.parser')
1
  • Попробуйте через селенимум получить нухный вам html код Commented 6 нояб. 2022 в 5:27

1 ответ 1

2

Youtube генерирует многие значения в js. Есть еще один ньюанс ) , youtube периодически перекраивает свой код, поэтому надо постоянно поддерживать свой парсер в актуальном состоянии. Исходя из вышесказанного надо рендерить страницу, прежде чем вытаскивать необходимые вам данные. Вот несколько решений:

  1. request_html
from requests_html import AsyncHTMLSession
from bs4 import BeautifulSoup as bs


asession = AsyncHTMLSession()

async def async_get_video_tags(url):
    try:
        response = await asession.get(url)
        await response.html.arender(sleep=10)
        soup = bs(response.html.html, "html.parser")
        tags = [meta.attrs.get("content") for meta in soup.find_all(
            "meta", {"property": "og:video:tag"}
        )]

        return tags

    except Exception as e:
        return e


# Дополнил скрипт :)
if __name__ == "__main__":
    import argparse
    parser = argparse.ArgumentParser(description="YouTube Video Data Extractor")
    parser.add_argument("--url", help="URL - search youtube tags in video")
    args = parser.parse_args()
    url = args.url

    if url:
        url_tags = []
        url_tags.append(url)
        find_tags = asession.run(*[lambda urls=urls: async_get_video_tags(urls) for urls in url_tags])
        print(find_tags)

Это вам как пример, в данном случае я получаю теги видео

  1. youtube-search-python
from youtubesearchpython import ChannelsSearch, Channel


channelsSearch = ChannelsSearch('ikakProsto')
channelsSearch.result()['result'][0]['id']
#  output id channel -> 'UC1qWaT8_iPHSBYgB4T2ltuA'
print(Channel.get('UC1qWaT8_iPHSBYgB4T2ltuA')['subscribers']['simpleText'])
#  output -> 1.45M subscribers

Эта библиотека отличная - но ее перестали поддерживать ребята, поэтому это решение не надежное.

Поэтому лучше истользовать первое решение, сам сделал , сам поддерживаеш ))

Ну или взятся поддерживать youtube-search-python :)

2
  • Спасибо большое!!!! второй способ помог) первый ошибку выдает) Очень сильно помогли!!
    – axew axew
    Commented 6 нояб. 2022 в 12:40
  • Не выдает ошибку, я проверил , скорее всего вы не совсем корректно запустили :) Дополнил скрипт
    – Kamed
    Commented 6 нояб. 2022 в 13:06

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.