0

Ниже код. Парсит по ссылке страницу сайта, собирает все ссылки на нем и пишет в файл. Как сделать так, чтобы дальше парсер переходил по каждой ссылке и парсил все ссылки на той странице и так же добавлял в файл. Конечная цель Сбор ссылок со Всего сайта. Если можно пример. Вот код

    def get_books() -> typing.List[str]:
    rs = requests.get('https://......')
    root = BeautifulSoup(rs.text, 'html.parser')

    t = []
    for x in root.findAll('a'):
        try:
            t1 = x["href"].strip()
            if not 'http' in t1:
                t1 = 'https://....' + t1
            t.append(t1)
        except KeyError:
            pass
    return t


if __name__ == '__main__':
    books = get_books()
    f = io.open('parsed_data.htm', 'w', encoding='utf8')
    for line in books:
        f.write(line + "\n")
    f.close()

    tf = io.open('text_new.txt', 'w', encoding='utf8')
    with open('parsed_data.htm', 'r') as f:
        file = f.readlines()

    seen_item = []
    for line in file:
        if line not in seen_item:
            seen_item.append(line)
            tf.write(line)
    tf.close()
3
  • 2
    Ну так... оформите код с одной ф-цией - url f(url). А дальше, когда список есть, то погоните файл через ф-цию. Ну.... и добавите фильтр, посещали страницу или нет (глобальным массивом), что б два раза на страницу не ходить. Думаю... особых проблем не должно возникнуть.
    – nick_n_a
    12 июн 2019 в 13:38
  • @nick_n_a прошу прощения, но я достаточно новичок. Можно конкретно кодом? Если не затруднит 12 июн 2019 в 13:42
  • 4
    @СергейБогданов Stackoverflow - это сервис вопросов и ответов. Вы задаёте конкретный вопрос по конкретной проблеме - вам дают на него ответ. Просьба написать код за вас - это не вопрос, соответственно, и ожидаемого ответа вам никто не даст. Более того, если не писать код самостоятельно, никогда не перестать быть новичком. 12 июн 2019 в 15:18

1 ответ 1

-1
import requests
from bs4 import BeautifulSoup

def get_books(url):
    root = None
    try:
        rs = requests.get(url)
        root = BeautifulSoup(rs.text, 'html.parser')
    except:
        pass

    if root:
        temp = []
        for x in root.findAll('a'):
            try:
                t1 = x["href"].strip()
                if not 'http' in t1:
                    t1 = 'https://....' + t1
                temp.append(t1)

            except KeyError:
                pass

        return temp


if __name__ == '__main__':

    books = get_books('https://docs.python.org/2/library/webbrowser.html')

    print('before: ', len(books))

    for book in books: # Парсит все ссылки полученые за первый проход
        more_books = get_books(book)

    print('more_books: ', len(more_books))

    all_books = more_books + books
    print('all_books: ', len(all_books))


    with open('E:\\Python\\exampeles\\parsed_data.htm', 'w', encoding='utf8') as file:
        for line in all_books:
            file.write(line + "\n")

    with open('E:\\Python\\exampeles\\text_new.txt', 'w', encoding='utf8') as tf:
        seen_item = []
        for line in all_books:
            if line not in seen_item:
                seen_item.append(line)
                tf.write(line + "\n")
        print(len(seen_item))

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.