Есть такая задача: сделать скрипт на Python, который после выхода каждого ролика на канале, делал определенные действия(что угодно), как это лучше всего реализовать? Лично я пробовал использовать beautyful soup
, но так и не разобрался, как правильно спарсить url нового видео, и принципе получить список видео P.S. если можно, приложите некоторый код пожалуйста
1 ответ
Рассмотри некоторый канал. Каждое видео это отдельный ytd-grid-video-renderer c классом "style-scope ytd-grid-renderer"
Название видео содержится в атрибуте title тега с id = "video-title"
В href содержится ссылка без домена (/watch?v=HQxZaeGxwQs)
Т.к. содержание страницы подгружается "динамический", через javascript, а вы новичек, я бы порекомендовал использовать связку Selenium + geckodriver + BeautifulSoup. Selenium зайдёт на страницу, выполнить javascript-ы и выгрузит полученый html - код в BS. Пример кода:
from selenium import webdriver
from bs4 import BeautifulSoup as BS
URL = "" #Ваш урл
driver = webdriver.Chrome()
driver.get(URL)
time.sleep(10) #Можно ждать до загрузки страницы, но проще подождать 10 секунд, их хватит с запасом
html = driver.page_source
Теперь в переменной html код нашей страницы. Найдём в нем все видеоролики и названия к ним:
soup = BS(html, "html.parser")
videos = soup.find_all("ytd-grid-video-renderer",{"class":"style-scope ytd-grid-renderer"})
for video in videos:
a = video.find("a",{"id":"video-title"})
name = link.get_text()
link = "https://www.youtube.com/" + a.get("href")
print(name, link)
Этот код выведет поочередно ссылки на все видео и их названия. Я прибавил к ссылке https://www.youtube.com/ , так как на youtube ссылке к роликам указаны без домена.
-
a = video.find("a",{"id":""video-title"} ^ SyntaxError: invalid syntax Выводит эту ошибку, я не знаю с чем это может быть свзяано 7 мая 2020 в 19:47
-
Я в своём коде ошибся с кавычкой, она должна быть одиночной, т.е так: video.find("a",{"id":"video-title"} 7 мая 2020 в 19:54
-
понял, спасибо. Но теперь он ругается на эту строку name = link.get_text() Возможно проблема очевидна, но я плохо разбираюсь в это библеотеке 7 мая 2020 в 20:02
-
Я разобрался, вы не поставили все в той же строчке скобку в конце, еще раз спасибо 7 мая 2020 в 20:29