1

Пытаюсь парсить avito, но при записи данных в xls файл через некоторое количество строк начинают записываться не все данные. В чем может быть причина? В какую сторону копать?

import urllib.request
import lxml.html as html
import xlwt
import xlrd

def pars_sphere(url):
    """парсим сферы и возвращаем ссылки на вакансии в каждой сфере"""
    page=urllib.request.urlopen("http://www.avito.ru"+url)
    doc=html.document_fromstring(page.read())
    link_work=doc.cssselect('.item-description-title-link')
    link_vacancy=[]
    for link in link_work:
        link_vacancy.append(link.get('href'))
    return link_vacancy

def pars_vacancy(url):
"""парсим каждую вакансию и возвращаем название, зарплату и ссылку на объявление"""
    page=urllib.request.urlopen("http://www.avito.ru"+url)
    doc=html.document_fromstring(page.read())
    name_vacancy=doc.cssselect('.h1')
    salary=doc.cssselect('.p_i_price')
    link="http://www.avito.ru"+url
    return name_vacancy, salary, link

url=input("Введите url avito: ")
page=urllib.request.urlopen(url)
doc=html.document_fromstring(page.read())
count_vacancy=doc.find_class('breadcrumbs-link-count')
print("В вашем городе найдено ", count_vacancy[0].text_content(), " вакансий\n")

names_sphere=doc.find_class('js-catalog-counts__link')
link_sphere={}
for name in names_sphere:
    link_sphere[name.text_content()]=name.get('href')
    #link_sphere.append(name.get('href'))

wb=xlwt.Workbook()
ws=wb.add_sheet('Vacancy')
i=0
for name in link_sphere:
    print('Обрабатывается: ', name)
    link_vacancy=pars_sphere(link_sphere[name])
    for link in link_vacancy:
        name_vacancy, salary, link=pars_vacancy(link)
        ws.write(i,0,name)
        ws.write(i,1,name_vacancy[0].text_content())
        ws.write(i,2,salary[0].text_content())
        ws.write(i,3,link)
        i += 1
    
wb.save(u'avito_vacancy_'+url[21:-9]+'.xls')

введите сюда описание изображения

1 ответ 1

1

Поигрался с вашим кодом и скажу, что причина связанна с xlwt. Логировал все добавления в excel:

for link in link_vacancy:
    name_vacancy, salary, link=pars_vacancy(link)

    print('name: {}, name_vacancy[0]: {}, salary[0]: {}, link: {}'.format(name, name_vacancy[0].text_content(), salary[0].text_content(), link))
    ...

При открытии файла Excel жаловался, что файл поврежден, предлагая, восстановить и восстановление частично помогло:

введите сюда описание изображения

И эта же информация в консоле:

Обрабатывается:  Хобби и отдых
name: Хобби и отдых, name_vacancy[0]: Меняю Золото на Каслинское литьё, salary[0]:  Не указана , link: http://www.avito.ru/magnitogorsk/kollektsionirovanie/menyayu_zoloto_na_kaslinskoe_lite_553427971
name: Хобби и отдых, name_vacancy[0]: Все новинки, гвс, биметалл, 70лет, США, Польша, др, salary[0]:  25 руб. , link: http://www.avito.ru/magnitogorsk/kollektsionirovanie/vse_novinki_gvs_bimetall_70let_ssha_polsha_dr_159864180
name: Хобби и отдых, name_vacancy[0]: Банька (Сауна), salary[0]:  500 руб. , link: http://www.avito.ru/magnitogorsk/sport_i_otdyh/banka_sauna_708504692

Возможно, в excel попадаются какие-нибудь символы, которые он не смог распарсить.

5
  • Большое спасибо, буду пробовать парсить как-нибудь по другому. Commented 27 мар. 2016 в 11:26
  • Парсилка вроде нормальные значения передает. Попробуйте, например, другие библиотеки для работы с excel. Если место хранения не так важно, можно в базу какую-нибудь сохранять. Если ответ вас устроил, Под стрелкой нажмите на галочку, чтобы он был принят
    – gil9red
    Commented 27 мар. 2016 в 11:30
  • Устроил, спасибо. Сам в парсинге новичок, не посоветуете какую-нибудь другую библиотеку? Commented 27 мар. 2016 в 11:40
  • С excel не работал, поэтому не смогу подсказать :)
    – gil9red
    Commented 27 мар. 2016 в 12:33
  • Все равно спасибо, наткнулся на openpyxl, теперь все и записывает и читает корректно, проблема решена:) Commented 27 мар. 2016 в 12:46

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.