Нужно собрать ссылки со всего сайта в файл. Нашел вот это на этом сайте. Почему-то не работает (находит только одну ссылку). Писал автору - без ответа. Помогите исправить
import io
from urllib.request import urlopen
from bs4 import BeautifulSoup
pages_to_parse=['https://www.site.ru/']
parsed_pages=[]
site_links=[]
while pages_to_parse != []:
current_page = pages_to_parse.pop()
html_doc = urlopen('https://www.site.ru/').read()
soup = BeautifulSoup(html_doc)
# ищем div с нужным классом
collect = soup.find('body')
# в найденном div'е, ищем все ссылки (т.е. теги a).
a_tags_on_page = collect.findAll('a')
links_on_page = []
for link in a_tags_on_page:
links_on_page.append(link.get('href'))
parsed_pages.append(current_page)
for i in links_on_page:
if i not in site_links:
site_links.append(i)
if i not in parsed_pages:
pages_to_parse.append(i)
links_on_page = []
f = io.open('parsed_data.htm', 'w', encoding='utf8')
i = 0
# запишем в файл
while i < len(site_links):
f.write(""+str(i)+"<a href='"+str(site_links[i]).decode('utf-8')+"'></a><br/>")
i = i+1
f.close()
Выдает вот такой лог:
C:/PycharmProjects/testby/ParserURL.py:16: UserWarning: No parser was explicitly specified, so I'm using the best available HTML parser for this system ("lxml"). This usually isn't a problem, but if you run this code on another system, or in a different virtual environment, it may use a different parser and behave differently.
The code that caused this warning is on line 16 of the file C:/PycharmProjects/testby/ParserURL.py. To get rid of this warning, pass the additional argument 'features="lxml"' to the BeautifulSoup constructor.
soup = BeautifulSoup(html_doc)
while pages_to_parse != []:
->while pages_to_parse:
2)while i < len(site_links):
->for i in range(len(site_links)):
,i = 0
иi = i+1
удалить, либо использовать enumerate:for i, link in enumerate(site_links):
. Думаю, еще можно найти, что отрефакторить, но тут уж лучше отдельным вопросом с меткой "инспекция-кода" спрашивать :)