Необходимо сделать парсер внутренних ссылок на сайт, т.е. я задаю url и должен получить ссылки на этот же сайт, которые на данной странице и пройти все ссылки и там тоже собрать ссылки. Я написал код, но получаю лишние ссылки, такие как: "#" или "номер телефона". Мой код:
from urllib.parse import urlparse
from bs4 import BeautifulSoup, SoupStrainer
import requests
url = 'http://101-rosa.ru'
r = requests.get(url)
soup = BeautifulSoup(r.content, 'html.parser', parse_only=SoupStrainer('a'))
urls = [link['href'] for link in soup if link.get('href')]
for u in urls:
nu = u.contents(0)
r = requests.get(nu)
soup2 = BeautifulSoup(r.content, 'html.parser',
parse_only=SoupStrainer('a'))
url = [link['href'] for link in soup2 if link.get('href')]
nu = urlparse(url)
if nu.netloc == 'www.http://101-rosa.ru:80' and urls.count(url) == 0:
urls.append(url)
print(len(urls))
print(urls)
#if __name__ == '__main__':
# main()