Прошу простой пример парсера htmp, желательно стардарнными средствами. Гуглил-гуглил, нашел мало чего понятного. Так что, пожалуйста "тыкните носом" в ссыль на эту тему, либо дайте исходничек.
1 ответ
Простой пример парсера, используются библиотеки Grab и PyQuery
from grab import Grab
from pyquery import PyQuery as pq
import re
NEWS_COUNT = 10
def loadPage(url):
g = Grab()
g.setup(timeout = 15, connect_timeout = 10)
g.go(url)
response = str(g.response.body)
return response
def readEchoNews():
siteUrl = "http://echo.msk.ru"
url = siteUrl+"/news/"
page = loadPage(url)
if page:
result = []
d = pq(page)
newsBlock = d("dl.frame.newsList.newsInside ul.list").children()
newsElements = []
for i in range(NEWS_COUNT): newsElements.append(newsBlock.eq(i))
for one in newsElements:
#print one.text()
a = one.find("a.name")
title = a.text().strip()
href = a.attr("href")
num = href.replace("/news/", "").replace("-echo.html", "")
descr = one.find("div.descr").text().strip().replace("...", ".")
text = u"%s. %s"%(title, descr)
text = ' '.join(re.findall(u"[a-zA-Zа-яА-Я\,\.]+", text))
result.append({'num': num, 'href': siteUrl+href, 'text': text})
return result
else:
return False