0

Необходимо сделать парсер внутренних ссылок на сайт, т.е. я задаю url и должен получить ссылки на этот же сайт, которые на данной странице и пройти все ссылки и там тоже собрать ссылки. Я написал код, но получаю лишние ссылки, такие как: "#" или "номер телефона". Мой код:

from urllib.parse import urlparse
from bs4 import BeautifulSoup, SoupStrainer
import requests

url = 'http://101-rosa.ru'
r = requests.get(url)

soup = BeautifulSoup(r.content, 'html.parser', parse_only=SoupStrainer('a'))
urls = [link['href'] for link in soup if link.get('href')]


for u in urls:
    nu = u.contents(0)
    r = requests.get(nu)
    soup2 = BeautifulSoup(r.content, 'html.parser', 
parse_only=SoupStrainer('a'))
    url = [link['href'] for link in soup2 if link.get('href')]
    nu = urlparse(url)
    if nu.netloc == 'www.http://101-rosa.ru:80' and urls.count(url) == 0:
        urls.append(url)


print(len(urls))
print(urls)

#if __name__ == '__main__':
#    main()

1 ответ 1

1

Можно исключить из рассмотрения номера телефонов и внутристраничные ссылки, проверив, начинается ли ссылка со строки # или tel:. Проверка выглядит примерно так:

if not link.startswith('#') and not link.startswith('tel:'):
    // обрабатываем ссылку

Полный код:

from urllib.parse import urlparse
from bs4 import BeautifulSoup
import requests
import lxml

DOMAIN = '101-rosa.ru'
HOST = 'http://' + DOMAIN
FORBIDDEN_PREFIXES = ['#', 'tel:', 'mailto:']
links = set()  # множество всех ссылок


def add_all_links_recursive(url, maxdepth=1):
    # print('{:>5}'.format(len(links)), url[len(HOST):])
    # извлекает все ссылки из указанного `url`
    # и рекурсивно обрабатывает их
    # глубина рекурсии не более `maxdepth`

    # список ссылок, от которых в конце мы рекурсивно запустимся
    links_to_handle_recursive = []

    # получаем html код страницы
    request = requests.get(url)
    # парсим его с помощью BeautifulSoup
    soup = BeautifulSoup(request.content, 'lxml')
    # рассматриваем все теги <a>
    for tag_a in soup.find_all('a'):
        # получаем ссылку, соответствующую тегу
        link = tag_a['href']
        # если ссылка не начинается с одного из запрещённых префиксов
        if all(not link.startswith(prefix) for prefix in FORBIDDEN_PREFIXES):
            # проверяем, является ли ссылка относительной
            # например, `/oplata` --- это относительная ссылка
            # `http://101-rosa.ru/oplata` --- это абсолютная ссылка
            if link.startswith('/') and not link.startswith('//'):
                # преобразуем относительную ссылку в абсолютную
                link = HOST + link
            # проверяем, что ссылка ведёт на нужный домен
            # и что мы ещё не обрабатывали такую ссылку
            if urlparse(link).netloc == DOMAIN and link not in links:
                links.add(link)
                links_to_handle_recursive.append(link)

    if maxdepth > 0:
        for link in links_to_handle_recursive:
            add_all_links_recursive(link, maxdepth=maxdepth - 1)

def main():
    add_all_links_recursive(HOST + '/')
    for link in links:
        print(link)

if __name__ == '__main__':
    main()

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.