0

Прошу простой пример парсера htmp, желательно стардарнными средствами. Гуглил-гуглил, нашел мало чего понятного. Так что, пожалуйста "тыкните носом" в ссыль на эту тему, либо дайте исходничек.

3
  • Чет про стандартные средства сказал зря...
    – hooko
    21 окт 2011 в 7:27
  • читаю habrahabr.ru/blogs/python/121815
    – hooko
    21 окт 2011 в 7:28
  • в принципе, в этой статье есть предостаточно ссылок.
    – KoVadim
    21 окт 2011 в 9:05

1 ответ 1

1

Простой пример парсера, используются библиотеки Grab и PyQuery

from grab import Grab
from pyquery import PyQuery as pq
import re

NEWS_COUNT = 10
def loadPage(url):
    g = Grab()
    g.setup(timeout = 15, connect_timeout = 10)
    g.go(url)
    response = str(g.response.body)
    return response

def readEchoNews():
    siteUrl = "http://echo.msk.ru"
    url = siteUrl+"/news/"
    page = loadPage(url)
    if page:
        result = []
        d = pq(page)
        newsBlock = d("dl.frame.newsList.newsInside ul.list").children()
        newsElements = []
        for i in range(NEWS_COUNT): newsElements.append(newsBlock.eq(i))
        for one in newsElements:
            #print one.text()
            a = one.find("a.name")
            title = a.text().strip()
            href = a.attr("href")
            num = href.replace("/news/", "").replace("-echo.html", "")
            descr = one.find("div.descr").text().strip().replace("...", ".")
            text = u"%s. %s"%(title, descr)
            text = ' '.join(re.findall(u"[a-zA-Zа-яА-Я\,\.]+", text))
            result.append({'num': num, 'href': siteUrl+href, 'text': text})
        return result
    else:
        return False

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.