0

Когда мы листаем ленту паблика вк или чего-то подобного, она постепенно прогружается. Моя задача спарсить полностью прогруженную страницу (html код). Возможно плохо искал, но в документации к urllib я такого не нашёл. Заранее благодарен за помощь.

1 ответ 1

3

И не должно такого быть в . urllib просто дает сделать http запрос и получить ответ. А то, что вы описывали это работа с 'ом, что не относится к обязанностям urllib (или , или ).

Вам нужно или посмотреть как формируется запрос на подгрузку ленты и его повторять http-запросами, или использовать javascript движок. Например, через .

Делал как-то пример для прокрутки яндекс-плейлиста (не факт, что сейчас оно работает) и там использовался такой каркас кода:

options_headless = Options()
options_headless.add_argument('--headless')

url = ...

driver = None
try:
    driver = webdriver.Firefox(options=options_headless)
    driver.implicitly_wait(2)  # seconds
    driver.get(url)
    print(f'Title: {driver.title!r}')

    time.sleep(5)

    # Конец страницы, пока лента подгружается мы не можем до него добраться
    footer_el = driver.find_element_by_class_name('footer')

    # Move down page to bottom
    y_position = 0
    while True:
        print('y_position:', y_position)
        try:
            ActionChains(driver).move_to_element(footer_el).perform()
            break
        except MoveTargetOutOfBoundsException:
            y_position += 250
            driver.execute_script(f'window.scrollTo(0, {y_position});')
            time.sleep(1)

    ...
    # Работаем с текущими данными на страницы, после прокрутки

finally:
    if driver:
        driver.quit()

Где,

  • Прокрутка страницы делается через js-код window.scrollTo, который вызываем у браузера через driver.execute_script(f'window.scrollTo(0, {y_position});')
  • А headless нужен, чтобы спрятать страницу
2

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.