Ниже код. Парсит по ссылке страницу сайта, собирает все ссылки на нем и пишет в файл. Как сделать так, чтобы дальше парсер переходил по каждой ссылке и парсил все ссылки на той странице и так же добавлял в файл. Конечная цель Сбор ссылок со Всего сайта. Если можно пример. Вот код
def get_books() -> typing.List[str]:
rs = requests.get('https://......')
root = BeautifulSoup(rs.text, 'html.parser')
t = []
for x in root.findAll('a'):
try:
t1 = x["href"].strip()
if not 'http' in t1:
t1 = 'https://....' + t1
t.append(t1)
except KeyError:
pass
return t
if __name__ == '__main__':
books = get_books()
f = io.open('parsed_data.htm', 'w', encoding='utf8')
for line in books:
f.write(line + "\n")
f.close()
tf = io.open('text_new.txt', 'w', encoding='utf8')
with open('parsed_data.htm', 'r') as f:
file = f.readlines()
seen_item = []
for line in file:
if line not in seen_item:
seen_item.append(line)
tf.write(line)
tf.close()
f(url)
. А дальше, когда список есть, то погоните файл через ф-цию. Ну.... и добавите фильтр, посещали страницу или нет (глобальным массивом), что б два раза на страницу не ходить. Думаю... особых проблем не должно возникнуть.