3

Хочу написать обычную программу, которая будет искать все ветки div и путем копирования внутри текста и сохранять в файл. Нашел для этого библиотеку lmxl для парсинга сайта. Слегка почитал и решил попробовать. Код работает на ура, но есть проблема, он выдает мне в результат пустую строку. Думал наверно это я как обычно скривожопил, а нет даже пример с хабра не работает, т.е. работает, но выдает эту же пустую строку.

Вот код:

import urllib
import lxml.html
page = urllib.urlopen("http://habrahabr.ru/") #открываем сайт хабрахабр
doc = lxml.html.document_fromstring(page.read()) #читаем страницу
for topic in doc.cssselect('a.topic'): #ищем все <a> по классу topic
    print topic.text
outFile = open('output.txt', 'w') #создаем файл
doc.write(outFile, encoding='utf-16') #записываем, что получилось

И вуаля! создается пустой файл. Объясните, пожалуйста, проблемму. Спасибо

3
  • 1
    Что за питон? doc.write(outFile, encoding='utf-16') AttributeError: 'HtmlElement' object has no attribute 'write' (python 2.7) Может у меня пакеты не те... В общем повторить не смог. Да, кстати, а как кривость ягодиц влияет на работу программ? Обычно проблемы создаёт кривость рук...
    – alexlz
    23 апр 2014 в 13:24
  • Использую python 2.7 win32, хотя OS win7-x64, но из-за того, что pygtk не работает на x64, установил питон для win32. Предустановленные пакеты: lxml 2.2.8-win32, pygtk(хочу использовать в будущем) и все. Я прогонял эту прогу разными способами от щелчка по файлу, вызов через cmd и через import. Ниодного намека на ошибку или успешность.
    – blabla
    23 апр 2014 в 13:49
  • а файл output.txt создается?
    – actionless
    24 апр 2014 в 13:18

2 ответа 2

1

На странице нет a.topic, а a.post_title есть. Еще, у меня на doc.write ругался, мол нет такого метода write, поэтому я реализовал код так:

import urllib
import lxml.html
page = urllib.urlopen("http://habrahabr.ru/")
doc = lxml.html.document_fromstring(page.read())

out = open('output.txt', 'w', encoding='utf-16')
for topic in doc.cssselect('a.post_title'):
    out.write(topic.text)
    out.write('\n')

out.close()
0
  1. На странице http://habrahabr.ru/ нет элементов с классом topic.
  2. Вот так можно перебрать названия постов на главной странице:
    from urllib.request import urlopen
    from bs4 import BeautifulSoup

    html = urlopen('http://habrahabr.ru/').read()
    soup = BeautifulSoup(html, 'lxml')

    for topic in soup.find_all(name='a', attrs={'class': 'post_title'}):
        print(topic['href'])
1
  • Пара замечаний: у автора используется python2, а не третий. И в вопросе указан lxml, а не BeautifulSoup
    – gil9red
    9 мая 2016 в 23:13

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.