Пытаюсь парсить avito, но при записи данных в xls
файл через некоторое количество строк начинают записываться не все данные. В чем может быть причина? В какую сторону копать?
import urllib.request
import lxml.html as html
import xlwt
import xlrd
def pars_sphere(url):
"""парсим сферы и возвращаем ссылки на вакансии в каждой сфере"""
page=urllib.request.urlopen("http://www.avito.ru"+url)
doc=html.document_fromstring(page.read())
link_work=doc.cssselect('.item-description-title-link')
link_vacancy=[]
for link in link_work:
link_vacancy.append(link.get('href'))
return link_vacancy
def pars_vacancy(url):
"""парсим каждую вакансию и возвращаем название, зарплату и ссылку на объявление"""
page=urllib.request.urlopen("http://www.avito.ru"+url)
doc=html.document_fromstring(page.read())
name_vacancy=doc.cssselect('.h1')
salary=doc.cssselect('.p_i_price')
link="http://www.avito.ru"+url
return name_vacancy, salary, link
url=input("Введите url avito: ")
page=urllib.request.urlopen(url)
doc=html.document_fromstring(page.read())
count_vacancy=doc.find_class('breadcrumbs-link-count')
print("В вашем городе найдено ", count_vacancy[0].text_content(), " вакансий\n")
names_sphere=doc.find_class('js-catalog-counts__link')
link_sphere={}
for name in names_sphere:
link_sphere[name.text_content()]=name.get('href')
#link_sphere.append(name.get('href'))
wb=xlwt.Workbook()
ws=wb.add_sheet('Vacancy')
i=0
for name in link_sphere:
print('Обрабатывается: ', name)
link_vacancy=pars_sphere(link_sphere[name])
for link in link_vacancy:
name_vacancy, salary, link=pars_vacancy(link)
ws.write(i,0,name)
ws.write(i,1,name_vacancy[0].text_content())
ws.write(i,2,salary[0].text_content())
ws.write(i,3,link)
i += 1
wb.save(u'avito_vacancy_'+url[21:-9]+'.xls')