Когда мы листаем ленту паблика вк или чего-то подобного, она постепенно прогружается. Моя задача спарсить полностью прогруженную страницу (html код). Возможно плохо искал, но в документации к urllib я такого не нашёл. Заранее благодарен за помощь.
1 ответ
И не должно такого быть в urllib. urllib просто дает сделать http запрос и получить ответ. А то, что вы описывали это работа с javascript'ом, что не относится к обязанностям urllib (или requests, или bs4).
Вам нужно или посмотреть как формируется http запрос на подгрузку ленты и его повторять http-запросами, или использовать javascript движок. Например, через selenium.
Делал как-то пример для прокрутки яндекс-плейлиста (не факт, что сейчас оно работает) и там использовался такой каркас кода:
options_headless = Options()
options_headless.add_argument('--headless')
url = ...
driver = None
try:
driver = webdriver.Firefox(options=options_headless)
driver.implicitly_wait(2) # seconds
driver.get(url)
print(f'Title: {driver.title!r}')
time.sleep(5)
# Конец страницы, пока лента подгружается мы не можем до него добраться
footer_el = driver.find_element_by_class_name('footer')
# Move down page to bottom
y_position = 0
while True:
print('y_position:', y_position)
try:
ActionChains(driver).move_to_element(footer_el).perform()
break
except MoveTargetOutOfBoundsException:
y_position += 250
driver.execute_script(f'window.scrollTo(0, {y_position});')
time.sleep(1)
...
# Работаем с текущими данными на страницы, после прокрутки
finally:
if driver:
driver.quit()
Где,
- Прокрутка страницы делается через js-код
window.scrollTo
, который вызываем у браузера черезdriver.execute_script(f'window.scrollTo(0, {y_position});')
- А
headless
нужен, чтобы спрятать страницу
-
Подробная настройка selelium описана тут: github.com/gil9red/SimplePyScripts/blob/…– gil9redCommented 1 янв. 2021 в 17:35
-