0

Делаю парсер для сайта и столкнулся с такой проблемой что получаю не все элементы на странице

def parse(driver, addlink):
    driver.get(url + 'product-list-page?q=' + urllib.parse.quote(addlink))
    driver.implicitly_wait(15)
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    a = driver.find_elements(By.XPATH, "//span[@class='price__main-value']")
    print(len(a))
    for i in a:
        ...

driver = webdriver.Chrome(options=Options())
driver.set_window_size(1920, 1080)

parse(driver, "видеокарта")

В инструментах разработчика при поиске нужных элементов так же ищутся не все элементы, но при выборе последующих элементов догружаются

введите сюда описание изображения

введите сюда описание изображения

Изменение разрешения экрана меняет количество найденных обьектов. пробовал явное ожидание, и скролл вниз до конца страницы. Это не дало результатов

2
  • Да, прокруткой проблему не решить, изменением разрешения окна браузера тоже. Как будто читает что его парсят, и он не отображает в доме элементов больше пока не будет какого либо действия, вот не понятно только какого. Возможно физический клик. Но в доме больше их не появилось, только при перелистовании стрелочками как Вы это показали в гифке. Ну... будем думать)))
    – Steenkle
    7 фев 2023 в 6:35
  • Хм, похоже я нашел решение
    – Steenkle
    7 фев 2023 в 6:40

1 ответ 1

0

Интересная ситуация.. Однако есть решение. В самом низу страницы есть выпадающий список "Показать по .." по икспасу: //*[.='Показать ещё']/../../div[2]/mvid-dropdown/div/div[1]

Я выбрал из этого списка показать по 12 После чего все 12 элементов отобразились в принте: https://prnt.sc/MhiHlyaPRKqa

Думаю Вам не составит труда прокликать каждую страницу из всех существующих которые там есть, хоть и по 12, за то все.

Код:

#Селекторы
test_test = (By.XPATH, "//span[@class='price__main-value']")
test_test_2 = (By.XPATH, "//*[.='Показать ещё']/../../div[2]/mvid-dropdown/div/div[1]")
test_test_2_1 = (By.XPATH, "//*[.='Показать ещё']/../../div[2]/mvid-dropdown/div/div[2]/div[1]")
def parse(self):
    self.element_is_visible(self.locators.test_test_2).click() # Кликаем на элемент выпадающего списка
    self.element_is_visible(self.locators.test_test_2_1).click() # Кликаем на элемент ИЗ выпадающего списка

    c = 0
    a = self.elements_are_visible(self.locators.test_test) # Здесь все цены на видяшки
    for i in a:
        c += 1
        print('element:', c, ' - ', i.text)
6
  • Не заметил такой функции, думаю лучше добавлю в ссылку '&showCount=12' чтоб не кликать ничего, но, причину такого поведения элементов хотелось бы узнать. А так мы просто костылем воспользовались.
    – akella6
    7 фев 2023 в 7:22
  • Как думаете, есть ли смысл танцевать с XPATH, более точное и сложное выражение сделать?
    – akella6
    7 фев 2023 в 7:24
  • Проверил на странице с 12 элементами, так же выводятся не все, от 2 до 10 причем каждый запуск без изменения кода выводит разное кол-во
    – akella6
    7 фев 2023 в 7:48
  • Интересно.. У меня сработало. По поводу функций, я писал фрейм для удобства. Да можно сразу в ссылке указать отображаемое количество элементов. И хотел у Вас спросить, какое Вы разрешение указывали для браузера в опциях? У меня стоит driver.set_window_size(1600, 3000), И отрабатывают все 12 цен в прайсе. Возможно Вы не ставили WebDriverWait(driver, 10).until( EC.visibility_of_element_located((By.ID, "locator")) ?
    – Steenkle
    7 фев 2023 в 8:22
  • вы правы WebDriverWait не ставил, а как он должен выглядеть в моем контексте? prices = driver.find_elements(By.XPATH, "//span[@class='price__main-value']") WebDriverWait(driver, 10).until( EC.visibility_of_element_located((By.ID, prices)) Если честно с неявными ожиданиями не разобрался:)
    – akella6
    7 фев 2023 в 8:29

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.