1
from bs4 import BeautifulSoup as bs
import requests
import csv


headers = {'accept': '*/*',
          'user-agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/77.0.3865.90 Chrome/77.0.3865.90 Safari/537.36'}


BASE_URL = 'https://www.klinikapawlikowski.pl/cennik/'
def parser(base_url, headers):
    data = []
    session = requests.Session()
    request = session.get(base_url, headers=headers)
    if request.status_code == 200:
        soup = bs(request.content, 'lxml')

        divs = soup.find_all('div', attrs={'class': 'col-12 dropdown-list'})
        for div in divs:
            title = div.find('div', attrs={'class': 'dropdown-list__header__title'}).text


        title_procedure = soup.find_all('div', attrs={'class': 'dropdown-list__body__block'})
        for procedure in title_procedure:
            title_procedures = procedure.find('div', attrs={'class': 'dropdown-list__body__block__title'}).text
            data.append({'title_procedurere': title_procedures})
        opisanie_procedur = soup.find_all('div', attrs={'class': 'dropdown-list__body__block__item'})
        for procedur in opisanie_procedur:
            opis_procedures = procedur.find('div', attrs={'class': 'dropdown-list__body__block__item__title'}).text
            data.append({'opis_procedur': opis_procedures})

        cena = soup.find_all('div', attrs={'class': 'dropdown-list__body__block__item'})
        for cen in cena:
            ceny = cen.find('div', attrs={'class': 'dropdown-list__body__block__item__price'}).text
            data.append({'Cena': ceny})
    else:
        print('ERROR')

    return data

def files_writer(data):
    with open('parsed_cennik.csv', 'a') as file:
        a_pen = csv.writer(file)
        a_pen.writerow(('Title_proedure', 'Opisanie_procedur', 'Ceny'))
        for job in data:
            a_pen.writerow((job['title_procedurere'], job['opis_procedur'], job['Cena']))

data = parser(BASE_URL, headers)
files_writer(data)

Ошибка такая:

a_pen.writerow((job['title_procedurere'], job['opis_procedur'], job['Cena']))
KeyError: 'opis_procedur'

1 ответ 1

3

Ошибка KeyError: 'opis_procedur' означает, что у словаря отсутствует такой ключ.

Если в строчке a_pen.writerow((job['title_procedurere'], job['opis_procedur'], job['Cena'])) выведите print(job), то сможете в этом убедиться.

А причина в том, что у вас при заполнении data.append в одном элементе (job) за один раз может быть только одно из этих значений:

  • data.append({'title_procedurere': title_procedures})
  • data.append({'opis_procedur': opis_procedures})
  • data.append({'Cena': ceny})

Если так и должно быть, а проблема в том, что словарь ругается, то вместо обращения по ключу через скобки, сделайте через метод get:

a_pen.writerow((job.get('title_procedurere'), job.get('opis_procedur'), job.get('Cena')))

Если ключа не будет, то get вернет None. Можно, кст, указать какое значение в отсутствии ключа возвращать, например job.get('title_procedurere', '<unknown>')


UPD.

Если у вас данные в data идут тройками и за один раз вы хотите по тройке обработать, то предлагаю попробовать такой алгоритм:

for i in range(0, len(data), 3):
    title_procedurere = data[i].get('title_procedurere')
    opis_procedur = data[i + 1].get('opis_procedur')
    cena = data[i + 2].get('Cena')
    a_pen.writerow((title_procedurere, opis_procedur, cena))

UPD2.

Неудержался и немного попарсил, и вот, что получилось:

from bs4 import BeautifulSoup as bs
import requests
import csv

headers = {
    'accept': '*/*',
    'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 '
                  '(KHTML, like Gecko) Ubuntu Chromium/77.0.3865.90 Chrome/77.0.3865.90 Safari/537.36'
}

BASE_URL = 'https://www.klinikapawlikowski.pl/cennik/'

def parser(base_url, headers) -> dict:
    data = dict()

    session = requests.Session()
    request = session.get(base_url, headers=headers)
    if request.status_code != 200:
        print('ERROR')
        return data

    soup = bs(request.content, 'lxml')

    for header in soup.select('.dropdown-list__header'):
        # "Konsultacje", "Dermatologia kliniczna" и т.п.
        header_title = header.select_one('.dropdown-list__header__title').getText(strip=True)

        data[header_title] = dict()

        for block in soup.select('.dropdown-list__body'):
            # "Dermatolog", "Badanie histopatologiczne", и т.п.
            procedure = block.select_one('.dropdown-list__body__block > .dropdown-list__body__block__title').getText(strip=True)
            items = []

            for item in block.select('.dropdown-list__body__block__item'):
                title = item.select_one('.dropdown-list__body__block__item__title').getText(strip=True)
                price = item.select_one('.dropdown-list__body__block__item__price').getText(strip=True)
                items.append((title, price))

            data[header_title][procedure] = items

    return data

def files_writer(data: dict):
    with open('parsed_cennik.csv', 'a', encoding='utf-8', newline='') as file:
        a_pen = csv.writer(file)
        a_pen.writerow(('Title_proedure', 'Opisanie_procedur', 'Ceny'))

        # "Konsultacje", "Dermatologia kliniczna" и т.п.
        for header, procedures in data.items():
            # "Dermatolog", "Badanie histopatologiczne", и т.п.
            for procedure, items in procedures.items():
                for title, price in items:
                    a_pen.writerow((procedure, title, price))

data = parser(BASE_URL, headers)
files_writer(data)

Кусочек csv:

Title_proedure,Opisanie_procedur,Ceny
Dermatolog,Lek. Bartosz Pawlikowski,170 zł
Dermatolog,Lek. Klaudia Orłowska – Orlik,150 zł
Dermatolog,Lek. Magdalena Kutwin,150 zł
Dermatolog,Lek. Hanna Kowalska,150 zł
Dermatolog,Lek. Martyna Gabryjelska-Janiszewska,150 zł
Dermatolog,Lek .Wojciech Drzazga,150 zł

PS.

Хоть, в исходной странице ценников было 3 уровня вложенности данных, но сохранение делается для последних двух как было в вопросе, но это легко исправляется добавлением еще одной колонки и в a_pen.writerow((header, procedure, title, price)). Бонусом по ссылке можно будет посмотреть результат парсинга. Дополнительно включил туда и json

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.