нужно сохранить динамическую страничку ютуба. Я скролю страницу до кона и использую метод driver.page_source для записи в файл для дальнейшего парсинга но страничка сохраняется без подгруженных данных т.е только первые 10 видео!
import requests
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
import time
from selenium.webdriver.common.keys import Keys
url = 'https://www.youtube.com/channel/UCEjpJz-JIzzaO0KMF8HgAew/videos'
headers = {
"User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36",
'x-youtube-client-name': '1',
'x-youtube-client-version': '2.20200429.03.00',
}
def get_source_html():
driver = webdriver.Firefox(executable_path = 'C:\youtube_parser\geckodriver.exe')
driver.get(url=url)
driver.maximize_window()
try:
time.sleep(3)
h_prev = 0
while True:
with open("source-page.html","w",encoding='utf-8') as file:
h = driver.execute_script('return window.innerHeight + window.scrollY;')
driver.execute_script(f'window.scrollTo(0,{h});')
time.sleep(0.3)
if h == h_prev:
file.write(driver.page_source)
break
h_prev = h
except Exception as ex:
print(ex)
finally:
driver.close()
driver.quit()
def main():
get_source_html()
if __name__ == "__main__":
main()```