3

Написал парсер, он собирает урлы и заголовки, они сохраняются в бд, как можно реализовать функционал, когда парсер может заходить на эти урлы и копировать данные оттуда в бд? Пробовал через циклы, но как-то не получается.

4
  • под словом "заходить на сайты" - значит логинтися? под словом "собриет урлы" - значит определяет по regex URL в *.html? под словом "данные" - это сохранить весь обьем за URL (сайт).пробовали Beautiful Soup?
    – Hellseher
    28 июл 2018 в 23:15
  • логиниться не нужно. Собрал урлы со страниц,где размещены все посты сайта за месяц,теперь надо зайти на эти страницы с постами и распарсить их, и также дополнить бд. парсил все чeрез bs4 и requests 28 июл 2018 в 23:21
  • @kikillka_kirillov дайте знать что у вас под словом "бд" зарыто реальная SQLlite/Postgress/MySQL... или просто список
    – Hellseher
    29 июл 2018 в 0:33
  • под бд понимается sqlite3 29 июл 2018 в 8:02

2 ответа 2

0

./requrce_url_extract.py

#!/usr/bin/env python3

import re
import sys
from urllib.request import urlopen
from bs4 import BeautifulSoup


url_re = '(http|ftp|https)://([\w_-]+(?:(?:\.[\w_-]+)+))([\w.,@?^=%&:/~+#-]*[\w@?^=%&/~+#-])?'

def get_url(page):
    '''Get URL page and return all found URLs as list'''
    url_ls = [ ]
    html = urlopen(page)
    bsobj = BeautifulSoup(html.read(), 'lxml')
    for link in bsobj.find_all('a', href=re.compile(url_re)):
        url_ls.append(link.get('href'))
    return(url_ls)

def lister(ls):
    for i in ls:
        print("\tURL {}".format(i))

def main():
    page = str(sys.argv[1])

    parent_urls = get_url(page)

    for p_url in parent_urls:
        print(p_url)
        lister(get_url(p_url))

if __name__ == "__main__":
    main()

Пример выхлопа:

$ ./requrce_url_extract.py  "http://gnu.org"  | head -n20
https://www.fsf.org/associate/support_freedom?referrer=4052
        URL https://www.fsf.org
        URL https://fsf.org/associate/benefits
        URL https://my.fsf.org/join/check
        URL https://my.fsf.org/associate/support_freedom/renew_fsf
        URL https://my.fsf.org/user?destination=civicrm%2Fcontribute%2Ftransact%3Freset%3D1%26id%3D38
        URL https://www.gnu.org/thankgnus
        URL https://www.fsf.org/about/free-software-foundation-privacy-policy
        URL https://civicrm.org/
        URL https://www.fsf.org/about/free-software-foundation-privacy-policy
        URL http://agpl.fsf.org/crm.fsf.org/CURRENT/
        URL https://weblabels.fsf.org/crm.fsf.org/CURRENT/
https://www.pureos.net/
        URL http://repo.pureos.net/pureos/pool/main/
        URL https://tracker.pureos.net/
        URL https://twitter.com/puri_sm
        URL https://mastodon.social/@purism
        URL https://creativecommons.org/licenses/by-sa/4.0/
        URL https://puri.sm/
0
import re
import sys
from urllib.request import urlopen
from bs4 import BeautifulSoup

urls = []

#в urls передайте все урлы в виде строк чтоб полчуился такой список:
#urls = ['url1', 'url2', 'url3...']

for url in urls:
    html = urlopen(url)
    bs = BeautifulSoup(html.read(), 'lxml')
    parse_page(bs)
    #я не знаю какие данные со страниц вам нужны, поэтому  код функции parse_page пишите сами    

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.