0

вот у меня есть парсер который работает как надо, но есть один изъян, при парсинге так же захватывается ненужный мне блок который находится на каждой странице, в котором мусорные товары которые мне нужно очистить:

введите сюда описание изображения

Как я мог бы это сделать?

Вот код, который делает запрос на получение данных:


            for item_el in driver.find_elements_by_css_selector(".product .tabloid"):
                name = get_text_by_css(item_el, '.name', 'Null')
                price = get_text_by_css(item_el, '.price', '-')
                nal = get_text_by_css(item_el, '', '-')

                row = name, price, nal
                print(row)

                items.append(row)

Вот ссылка на страницу:

https://notebooker.ua/search/?q=Gazer&send=Y&r=Y

Результат выполнение программы:

('Електропривод багажника GAZER TG-7P5', '25 999 грн.', '-')
('Електропривод багажника GAZER TG-5N2', '25 999 грн.', '-')
('Електропривод багажника GAZER TG-A50', '25 999 грн.', '-')
('Електропривод багажника GAZER TG-A40', '25 999 грн.', '-')
('Відеокамера GAZER CF730-IN', '1 499 грн.', '-')
('Система кругового огляду GAZER CKR4400', '11 599 грн.', '-')
('Монітор 23.6 Iiyama X2474HS-B2', '4 835 грн.\n5 619 грн.', '-') # С этой строки начинает парсить мусор
('Монітор 23.6 Iiyama XB2481HS-B1/XB2481HS-B1 C', '5 420 грн.\n6 299 грн.', '-')
('Монітор LENOVO S28u-10 (61E6GAT2UA)', '8 105 грн.\n8 829 грн.', '-')
('Esperanza KETTLE EKK018 WHITE-GREY (EKK018E)', '215 грн.\n269 грн.', '-')
('', '', '-')
('', '', '-')
('', '', '-')
('', '', '-')
('', '', '-')
('', '', '-')
('', '', '-')
('', '', '-')
('', '', '-')
('', '', '-')
('', '', '-')
('', '', '-')
('', '', '-')
('', '', '-')
('', '', '-')
('', '', '-')
Load: https://notebooker.ua/search/?q=Gazer&send=Y&r=Y&PAGEN_1=2

Если понадобится, вот полный код программы: https://dpaste.org/yynJ

3
  • 1
    Нужно найти такой родительский элемент, в котором находятся товары до пагинации. Попробовал посмотреть такой на сайте, а он This site is temporarily unavailable. :)
    – gil9red
    29 окт 2021 в 10:22
  • Действительно, оказалось если включить голову то можно такой найти) Этим элементом оказался селектор #catalogColumn .product 29 окт 2021 в 10:29
  • Молодец, что разобрались :) Оформите сами ответ :)
    – gil9red
    29 окт 2021 в 10:33

1 ответ 1

0

Для того что бы решить данный вопрос потребовалось определить родительный селектор для позиций находящихся вне того блока который нам не нужен и заменить селектор в коде.

Вот что будет если искать селектор просто наведя мышку на карточку товара введите сюда описание изображения

Но если внимательно посмотреть, то над карточкой товара есть еще один div, который выдает уже другой селектор, который не захватывает карточки ненужных нам товаров

введите сюда описание изображения

Забираем второй селектор и вставляем его в наш код:

 for item_el in driver.find_elements_by_css_selector("#catalogColumn .product"):
                name = get_text_by_css(item_el, '.name', 'Null').strip('Електропривод багажника').strip('Автомобільна мультимедійна система')
                price = get_text_by_css(item_el, '.price', '-')
                nal = get_text_by_css(item_el, '', 'Есть в наличии')

                row = f'{DT.datetime.now():%d-%m-%Y}',name, price, nal
                print(row)

                items.append(row)

В итоге вот результат выполнения программы:

('29-10-2021', 'GAZER TG-RM4', '25 999 грн.', 'Есть в наличии')
('29-10-2021', 'GAZER TG-GH', '25 999 грн.', 'Есть в наличии')
('29-10-2021', 'GAZER TG-TLN', '25 999 грн.', 'Есть в наличии')
('29-10-2021', 'GAZER TG-DM', '25 999 грн.', 'Есть в наличии')
('29-10-2021', 'GAZER TG-TL', '25 999 грн.', 'Есть в наличии')
('29-10-2021', 'GAZER TG-AD1', '25 999 грн.', 'Есть в наличии')
('29-10-2021', 'GAZER TG-7P5', '25 999 грн.', 'Есть в наличии')
('29-10-2021', 'GAZER TG-5N2', '25 999 грн.', 'Есть в наличии')
('29-10-2021', 'GAZER TG-A50', '25 999 грн.', 'Есть в наличии')
('29-10-2021', 'GAZER TG-A40', '25 999 грн.', 'Есть в наличии')
('29-10-2021', 'Відеокамера GAZER CF730-IN', '1 499 грн.', 'Есть в наличии')
('29-10-2021', 'Система кругового огляду GAZER CKR4400', '11 599 грн.', 'Есть в наличии')
Load: https://notebooker.ua/search/?q=Gazer&send=Y&r=Y&PAGEN_1=2
('29-10-2021', 'GAZER ММ-система CM5507-QV (CM5507-QV)', '7 409 грн.', 'Есть в наличии')
('29-10-2021', 'Відеореєстратор GAZER F125', '2 999 грн.', 'Есть в наличии')
('29-10-2021', 'Відеореєстратор GAZER F155', '5 999 грн.', 'Есть в наличии')
('29-10-2021', 'GAZER MUW5000', '5 999 грн.', 'Есть в наличии')

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.