0

Пишу парсер для python используя библиотеку selenium

Вот код

from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
import time
from selenium.webdriver.chrome.options import Options
option = Options()

option.add_argument("--disable-infobars")
option.add_argument("start-maximized")
option.add_argument("--disable-extensions")

option.add_experimental_option("prefs", { 
    "profile.default_content_setting_values.notifications": 1 
})

driver = webdriver.Chrome(ChromeDriverManager().install(),chrome_options=option)
def main():
    driver.get('https://www.facebook.com/')
    driver.find_element_by_xpath('//*[@id="email"]').send_keys('xxxx')
    driver.find_element_by_xpath('//*[@id="pass"]').send_keys('xxxx\n')
    time.sleep(3)
    driver.get('https://www.facebook.com/profile.php?&sk=friends')
    time.sleep(3)


    SCROLL_PAUSE_TIME = 0.5
    last_height = driver.execute_script("return document.body.scrollHeight")

    while True:
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

        time.sleep(SCROLL_PAUSE_TIME)

        new_height = driver.execute_script("return document.body.scrollHeight")
        if new_height == last_height:
            break
        last_height = new_height
    get_friends_url()

def get_friends_url():
    URL = driver.find_elements_by_class_name('pioscnbf')
    for links in URL:
        link = links.get_attribute('href')
        driver.get(link)
        time.sleep(2)
        get_content_friends()
  
        

def get_content_friends():
    time.sleep(4)
    print(1)




main()

Я хочу просто пройтись по всем ссылкам которые собрал

selenium.common.exceptions.StaleElementReferenceException: Message: stale element reference: element is not attached to the page document (Session info: chrome=91.0.4472.106)

1 ответ 1

0

Ошибка StaleElementReferenceException означает, что после того, как была получена ссылка на элемент, произошли изменения в структуре документа.

Способ исправить зависит от того, что за изменения происходят. Общая и наиболее универсальная рекомендация: после каждого действия, которое порождает асинхронную активность изменяющую страницу, нужно ждать, пока операция закончится.

Для этого используйте возможности ожидания, которые предоставляет selenium.

1
  • но почему я не могу просто переходить на страницы по ссылкам ? Ведь эти ссылки у меня уже есть
    – koolaa12
    16 июн 2021 в 8:09

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.