0

Нужно написать цикл для того что бы парсер собирал данные со всех страниц, но мой вариант не работает, как можно было бы его реализовать по-другому?

    import time 
    import requests
    import pandas as pd
    from bs4 import BeautifulSoup
    from selenium.webdriver import Chrome
    from datetime import datetime
    PAGES_COUNT = 13
    url = 'https://rozetka.com.ua/search/?page={}&producer=gazer&seller=rozetka&text=Gazer'
    url = url.replace('/?page=0', '')
    webdriver = r"C:\Users\К.Бояр (Второй)\source\repos\RozetaParcer\chromedriver.exe"


    def getPageData():
        driver = Chrome(webdriver)
    driver.implicitly_wait(10)
    driver.get("https://rozetka.com.ua/search/?producer=gazer&seller=rozetka&text=Gazer")
    total = []
    items = driver.find_elements_by_css_selector(".goods-tile.ng-star-inserted")
    cur_date = datetime.now().strftime("%d_%m_%Y")
    for item in items:
        t_name = item.find_element_by_css_selector('.goods-tile__title').text
        t_price = item.find_element_by_css_selector('.goods-tile__price-value').text
        t_nal = item.find_element_by_css_selector('.goods-tile__availability').text    
        row = cur_date, t_name, t_price, t_nal
        total.append(row)
        for pageIdx in range(0, PAGES_COUNT + 1):
            total += getPageData(pageIdx)

    driver.close()
        
    df = pd.DataFrame(total, columns=['Date','Name', 'Price', 'Nal'])
    df.to_csv(f'Rozetka_parcer_{cur_date}.csv')

8
  • Не используйте js-сниппет для кода на python. Для форматирования кода используйте ``` до и после кода. Кст, насчет форматирования, его тоже нужно использовать. Сейчас непонятно где что происходит
    – gil9red
    13 окт 2021 в 10:36
  • Исправил, больше не повторится! 13 окт 2021 в 10:37
  • Спасибо. Нет времени разбираться с парсером и писать ответ, поэтому наведу на мысль. Хардкодить количество страниц нехорошо. Я бы сделал так: 1) прогружаем страницу с товарами, парсим ее товары 2) смотрим внизу страницы на наличие кнопки пагинации на следующую страницу 3) если есть, то вытаскиваем ее ссылку и переходи по ней, повторяем шаг 1). У того сайта кнопка перехода на следующую страницу <a class="button button_color_gray button_size_medium pagination__direction pagination__direction_type_forward ng-star-inserted" href="/search/?page=2&amp;pr...
    – gil9red
    13 окт 2021 в 10:45
  • Понял,сейчас попробую, если что-то выйдет вышлю сюда как ответ! 13 окт 2021 в 10:46
  • ... но у способа есть 2 минуса: 1) возможно придется отлистать страницу до самого низа, т.к. может selenium сругаться (проверять на месте, если не ругается, значит ок) 2) если на странице не будет того элемента пагинации, то скрипт прождет время, заданное в implicitly_wait и после ругнется. Такое для скорости работы неоптимальное, тогда нужно код переписать с явными задержками (в прошлом ответе писал об этом)
    – gil9red
    13 окт 2021 в 10:47

1 ответ 1

1

Действия:

  • Разделил код на 2 части:
    1. Парсинг в функции parse
    2. Сохранение результата парсинга в функции save_goods. Кст, функция по-умолчанию использует сохранение в кодировке utf-8, если файл планируется открывать, например, в Excel, то скорее всего придется в кодировке cp1251 сохранять
  • При парсинге:
    1. Используем бесконечный цикл
    2. Загружаем страницу и вытаскиваем товары
    3. Проверяем наличие кнопки перехода на следующую страницу
    4. Если нет, то выходим из цикла, иначе сохраняем ссылку, чтобы на следующей итерации перейти по ней в 1.

У меня настроен selenium для работы с Firefox, поменяете у себя на Chrome при необходимости. Это включает в себя и Options, для Chrome используете его версию опции.

Пример:

import datetime as DT

from typing import List, Tuple, Union
from pathlib import Path

import pandas as pd

from selenium import webdriver
from selenium.webdriver.firefox.options import Options
from selenium.common.exceptions import NoSuchElementException


def parse(url: str) -> List[Tuple[str, str, str]]:
    options = Options()
    options.add_argument('--headless')

    items = []

    driver = webdriver.Firefox(options=options)
    driver.implicitly_wait(10)
    try:
        while True:
            print('Load:', url)
            driver.get(url)

            for item_el in driver.find_elements_by_css_selector(".goods-tile"):
                name = item_el.find_element_by_css_selector('.goods-tile__title').text

                # Не у всех товаров есть цена
                try:
                    price = item_el.find_element_by_css_selector('.goods-tile__price-value').text
                except NoSuchElementException:
                    price = '-'

                nal = item_el.find_element_by_css_selector('.goods-tile__availability').text

                row = name, price, nal
                print(row)
                items.append(row)

            # Если есть кнопка перехода на следующую страницу, то продолжаем цикл, иначе завершаем
            try:
                a_next_page = driver.find_element_by_css_selector('a.pagination__direction_type_forward[href]')
                url = a_next_page.get_attribute('href')

            except NoSuchElementException:
                break

    finally:
        driver.quit()

    return items


def save_goods(
        file_name: Union[str, Path],
        items: List[Tuple[str, str, str]],
        encoding='utf-8'
):
    df = pd.DataFrame(items, columns=['Name', 'Price', 'Nal'])
    df.to_csv(file_name, encoding=encoding)

Использование:

url = "https://rozetka.com.ua/search/?producer=gazer&seller=rozetka&text=Gazer"
items = parse(url)
print(f'Total goods: {len(items)}')

file_name = f'rozetka_parser_{DT.datetime.now():%Y-%m-%d}.csv'
print(f'Saved to {file_name}')
save_goods(file_name, items)

Результат (в консоли, значений много, поэтому только небольшая часть):

Load: https://rozetka.com.ua/search/?producer=gazer&seller=rozetka&text=Gazer
('Автомагнитола Gazer CM6006-100D 2-DIN', '5 699', 'Есть в наличии')
('Видеорегистратор Gazer F125 (3694553)', '2 999', 'Есть в наличии')
('Автомагнитола Gazer CM5507-100F', '3 499', 'Заканчивается')
...
Load: https://rozetka.com.ua/search/?page=13&producer=gazer&seller=rozetka&text=Gazer
...
('Автомагнитола штатная Gazer CM6510-UM для Kia Sorento (UM) 2015-2017', '21 990', 'Нет в наличии')
('Автомагнитола штатная Gazer CM6510-A40 для Toyota RAV 4 (A40) 2013-2016', '17 592', 'Нет в наличии')
('Автомагнитола штатная Gazer CM5008-XU40 для Toyota Highlander (XU40) 2008-2015', '15 899', 'Нет в наличии')
Total goods: 446
Saved to rozetka_parser_2021-10-15.csv

Результат: файл rozetka_parser_2021-10-15.csv

4
  • Понял, спасибо большое! А при помощи какой функции мне можно настроить фильтр выводимых значений? Например я хочу что бы в таблицу писалась только номенклатура (Например: CM6006-100D , F125 ) и т.д, как это можно реализовать? 14 окт 2021 в 19:20
  • @КонстантинНиколаевичБоярII, пожалуйста :) Если нужно из названий товаров выдергивать подобные значения, то используйте регулярные выражения через модуль re. Если вы знаете формат номенклатуры (типа CM\d+-\w+, это пример регулярки для CM6006-100D и ею подобных), то будет просто, иначе собирайте данные и анализируете, собирая шаблоны. После сделайте функцию, в которую передаете строку и получаете строку. В этой функции пробуете регулярками вытащить. Если функция не смогла вытащить номенклатуру, то ругаетесь, выведя название товара, чтобы проанализировать эту фигню
    – gil9red
    14 окт 2021 в 19:41
  • @КонстантинНиколаевичБоярII, если не возникнут проблемы с парсингом номенклатуры из названия товара, то создавайте вопрос с указанием вариантов названий, своим кодом с попыткой решить и ожидаемым результатом :) Кст, плюс к ответу ^ приветствуется ;) :D
    – gil9red
    14 окт 2021 в 19:44
  • Спасибо большое, буду пробовать) 14 окт 2021 в 19:45

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.