1

пишу парсер для сайте Rozetka.com, все компилирует без ошибок, но почему-то ничего в таблицу не выводит, видимо ошибка в том как я указал пусть к webdriver, подскажите как это сделать

from selenium.webdriver import Chrome
import pandas as pd
import time
webdriver = r"C:\Users\К.Бояр (Второй)\source\repos\RozetaParcer\chromedriver.exe" ### put your browser driver's path

driver = Chrome(webdriver)
driver.get("https://rozetka.com.ua/search/?producer=gazer&seller=rozetka&text=Gazer") ### here the website url

items = len(driver.find_elements_by_class_name("goods-tile__picture ng-star-inserted")) ### here you put the class name of the HTML element which contains the data to scrap

total = []
for item in range(items):

        items = driver.find_elements_by_class_name("goods-tile__picture ng-star-inserted")
        for item in items:
            t_name = item.find_element_by_class_name('goods-tile__title').text
            t_price = item.find_element_by_class_name('goods-tile__price-value').text
            t_nal = item.find_element_by_class_name('goods-tile__availability goods-tile__availability--available ng-star-inserted').text
            new = ((cur_data,t_name, t_price, t_nal))
            total.append(new)
            cur_data = datetime.now().strftime("%d_%m_%Y")
df = pd.DataFrame(total, columns=['time','Name', 'Price', 'Nal'])
df.to_csv('Rozetka_parcer_{cur_data}.csv')
driver.close()
8
  • 2
    Компилируется или все-таки интерпретируется? О_о Не вижу связи между путем к webdriver для работы selenium и сохранением в таблицу, если бы путь был неправильный, то скрипт дальше driver = Chrome(webdriver) не пошел. Скорее всего, у вас в total ничего нет, добавляйте отладочные сообщения и смотрите в консоли как код выполняется
    – gil9red
    Commented 12 окт. 2021 в 8:02
  • 1
    Если бы ошибка была в пути к драйверу, то выскочило бы исключение.
    – CrazyElf
    Commented 12 окт. 2021 в 8:02
  • Кст, а зачем два раза запрашивать goods-tile__picture ng-star-inserted и делать двойной цикл с ними? Выглядит странно... мне кажется, что код с items = len(... и for item in range(items): лишний
    – gil9red
    Commented 12 окт. 2021 в 8:04
  • 1
    Ну смотрите, я вытягиваю данные и заношу их в csv, все вроде бы работает нормально, компиляция проходит, запускается окно с браузером, но потом все обрывается и никаких данных нет Commented 12 окт. 2021 в 8:04
  • Посмотрите этот ответ ru.stackoverflow.com/a/1267411/218971 Я там описывал, как вести отладку selenium тестов. Попробуйте пошагово в отладчике выполнить тест и посмотрите, где работает не так, как должно (как вы ожидаете) Commented 12 окт. 2021 в 8:21

1 ответ 1

1

Думаю, у вас не нашлось из-за неправильного использования метода find_elements_by_class_name, которому нужно передавать один класс. Поясню, значения в атрибуте class, разделенные пробелом, это не один элемент (class), а несколько.

Таким образом, значение goods-tile__picture ng-star-inserted это 2 класса

Для поиска по двум классам используйте css-селектор через метод find_elements_by_css_selector:

driver.find_elements_by_css_selector(".goods-tile__picture.ng-star-inserted")

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.