3

Есть такая задача: сделать скрипт на Python, который после выхода каждого ролика на канале, делал определенные действия(что угодно), как это лучше всего реализовать? Лично я пробовал использовать beautyful soup, но так и не разобрался, как правильно спарсить url нового видео, и принципе получить список видео P.S. если можно, приложите некоторый код пожалуйста

1 ответ 1

9

Рассмотри некоторый канал. Каждое видео это отдельный ytd-grid-video-renderer c классом "style-scope ytd-grid-renderer"

введите сюда описание изображения

Название видео содержится в атрибуте title тега с id = "video-title"

введите сюда описание изображения

В href содержится ссылка без домена (/watch?v=HQxZaeGxwQs)

Т.к. содержание страницы подгружается "динамический", через javascript, а вы новичек, я бы порекомендовал использовать связку Selenium + geckodriver + BeautifulSoup. Selenium зайдёт на страницу, выполнить javascript-ы и выгрузит полученый html - код в BS. Пример кода:

from selenium import webdriver
from bs4 import BeautifulSoup as BS

URL = "" #Ваш урл

driver = webdriver.Chrome()
driver.get(URL)
time.sleep(10)  #Можно ждать до загрузки страницы, но проще подождать 10 секунд, их хватит с запасом
html = driver.page_source

Теперь в переменной html код нашей страницы. Найдём в нем все видеоролики и названия к ним:

soup = BS(html, "html.parser")
videos = soup.find_all("ytd-grid-video-renderer",{"class":"style-scope ytd-grid-renderer"})
for video in videos:
   a = video.find("a",{"id":"video-title"})
   name = link.get_text()
   link = "https://www.youtube.com/" + a.get("href") 
   print(name, link)

Этот код выведет поочередно ссылки на все видео и их названия. Я прибавил к ссылке https://www.youtube.com/ , так как на youtube ссылке к роликам указаны без домена.

4
  • a = video.find("a",{"id":""video-title"} ^ SyntaxError: invalid syntax Выводит эту ошибку, я не знаю с чем это может быть свзяано 7 мая 2020 в 19:47
  • Я в своём коде ошибся с кавычкой, она должна быть одиночной, т.е так: video.find("a",{"id":"video-title"} 7 мая 2020 в 19:54
  • понял, спасибо. Но теперь он ругается на эту строку name = link.get_text() Возможно проблема очевидна, но я плохо разбираюсь в это библеотеке 7 мая 2020 в 20:02
  • Я разобрался, вы не поставили все в той же строчке скобку в конце, еще раз спасибо 7 мая 2020 в 20:29

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.