При завершении парсинга и сохранении в csv выдается ошибка KeyError: 'name1'
В чем может быть проблема?
from bs4 import BeautifulSoup
import urllib.request
import requests
import csv
Base_URL = 'http://santehnika-online.ru/mebel_dlja_vannoj_komnaty/'
def get_html(url):
responce = urllib.request.urlopen(url)
return responce.read()
def get_page_count(html):
soup = BeautifulSoup(html)
paggination = soup.find('div', class_='paginator')
return int(paggination.find_all('a')[-2].text)
def parse(html):
soup = BeautifulSoup(html)
links = []
dlink = []
vidacha = soup.find('div', class_='vidacha')
for link in vidacha.find_all('a'):
links.append(link.get('href'))
dlink = links[::3]
i = 0
string = "http://santehnika-online.ru"
for tovar in dlink:
dlink[i] = str(string) + str(tovar)
i = i + 1
c = 0
param = []
spisok = []
spisok2 = []
for http in dlink:
dlink[c] = http
data = get_html(http)
soup = BeautifulSoup(data)
row = soup.find('div', class_='zebragroup1 chars vklad')
for table in row.findAll('ul')[0:]:
colls = table.findAll('div')
for i in colls:
param.append({'name': i.text.split()})
colls2 = table.findAll('span')
for col in colls2:
param.append({'name1': col.text.split()})
param.append({'name2': soup.find('h1').text.split()})
c = c + 1
return param
def save(param, path):
with open(path, 'w', encoding='utf8', errors='replace') as csvfile:
writer = csv.writer(csvfile)
writer.writerow(('Название', 'Описание', 'Наименование'))
for parametr in param:
writer.writerow((parametr['name'],
', '.join(parametr['name1']),
parametr['name2']))
def main():
page_count = get_page_count(get_html(Base_URL))
print('Всего найдено страниц: %d' % page_count)
param = []
for page in range(1, 200):
print('Парсинг %d%%' % (page / page_count * 100))
param.extend(parse(get_html(Base_URL + '?PAGEN_1=%d' % page)))
for parametr in param:
print(parametr)
save(param, 'paras.csv')
if __name__ == '__main__':
main()
name1
в строке', '.join(parametr['name1'])
, поскольку не может его найти в словаре. Попробуйте пройтись дебаггером, или просто распечатать переменнуюparameter
в цикле, и посмотрите, что в ней хранится.