0

Создал небольшой парсер

import requests
from bs4 import BeautifulSoup

URL = 'https://apteka.ru/vendor/Эгис%20Фармацевтический%20завод%20ЗАО/'
HEADERS = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36',
           'accept': '*/*'}
HOST = 'https://apteka.ru'

def get_html(url, params=None):
    r = requests.get(url, headers=HEADERS, params=params)
    return  r

def get_content(html):
    soup = BeautifulSoup(html, 'html.parser')
    items = soup.find_all('div', class_='catalog-card card-flex')

    lp = []
    for item in items:
        count = item.find('span', class_='light-button__label').get_text(strip=True)
        if count == 'Купить':
            lp.append({
                'name': item.find('a', class_='catalog-card__name').get_text(strip=True),
                'vendor': item.find('span', class_='emphasis').get_text(strip=True),
                'price': item.find('span', class_='moneyprice__roubles').get_text(strip=True),
                'currency': item.find('span', class_='moneyprice__currency').get_text(strip=True),
                'link': HOST + item.find('a').get('href')
            })
        else:
            lp.append({
                'link': HOST + item.find('a').get('href')
            })
    return lp

def parse():
    html = get_html(URL)
    if html.status_code == 200:
        lp = get_content(html.text)
        print(lp)
    else:
        print('Error')


parse()

Вопросы:

  1. на сайте если count = 'Купить' - значит только одна дозировка, иначе есть выбор. Тогда в массив lp я помещаю только link. Нужно во время работы get_content(html) вызывать по link дополнительный вызов или проверять после parse(), когда массив lp будет уже сформирован? И как правильнее будет вставить в тот же массив?
  2. как обойти все страницы, а не только первую?

UPDATE:

  1. ненужный вопрос, поменял структуру, намного лучше теперь и быстрее
  2. обход исполнил следующим образом (на странице появляется новый класс, если на ней нет карточек товара):
def parse():
    i = 1
    LP = []
    # Для каждой страницы
    while get_html(URL, {'page': i}).status_code == 200:
        html = get_html(URL, {'page': i})
        soup = BeautifulSoup(html.text, 'html.parser')
        page = soup.find('div', class_='catalog-empty-response')

        # Остановка в случае пустой витрины на странице
        if page:
            break
        else:
            lp = get_content(html.text)
            LP = LP + lp
            i = i + 1
    print(LP)
3
  • 2. А вы смотрели в инспекторе браузера на вкладке Сети какой запрос формируется для следующих страниц? :)
    – gil9red
    26 авг 2021 в 6:23
  • @gil9red, пока не дошёл до этого, спросил заранее. Сейчас переделываю структуру, немного не так выдало. Но у меня мини-вопрос: на сайте выдаёт результаты наличия в зависимости от города. В парсере не указывается, но результат схож с моим местоположением. Получается если запустить код в другой точке мира, то будет другой результат?
    – MaxDown
    26 авг 2021 в 6:49
  • все может быть:) поэтому, если будете запускать на vds, проверьте внимательно
    – KoVadim
    26 авг 2021 в 7:02

1 ответ 1

3

как обойти все страницы, а не только первую?

есть три подхода:

  1. сформировать все возможные ссылки, выкачать. Но это не всегда возможно.

  2. качать рекурсивно. Когда получили новую ссылку, то просто вызываем функцию "скачивания страницы". Если страниц и вложенности немного, то вполне работает и легко кодируется.

  3. списочный способ. Схематический код

     urls_to_download = ["http://start_url"]
     downloaded_urls = [] # может лучше set?
     while urls_to_download не пустой:
       #извлечь один url  с списка urls_to_download 
       url = urls_to_download.pop()
       if url in downloaded_urls:
         continue
       new_urls = download(url)
       # добавить new_urls  в urls_to_download 
       urls_to_download = urls_to_download  + new_urls
       #добавить url  в список downloaded_urls 
       downloaded_urls.append(url)
    
     def download(url):
       #скачиваем и парсим страницу.
       page = get(url)
       #сохраняем в базу/диск
       save_page(page);
       #возвращаем список спарсеных с страницы ссылок
       return extract_urls(page)
    
9
  • Страниц немного, всё зависит от выбранного города, если через браузер смотреть
    – MaxDown
    26 авг 2021 в 6:50
  • set будет лучше, constant lookup - мощная штука
    – 0dminnimda
    26 авг 2021 в 10:27
  • а он на самом деле константный? но если в списке 10 элементов, то оно не особо и важно
    – KoVadim
    26 авг 2021 в 10:29
  • @0dminnimda, я обошел понятным мне способом. Обновление сделал в вопрос
    – MaxDown
    26 авг 2021 в 10:42
  • @KoVadim, я обошел понятным мне способом. Обновление сделал в вопрос
    – MaxDown
    26 авг 2021 в 10:45

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.