В общем, суть такова. Мне нужно скачать из сайта https://fasie.ru/ документы. Они могут быть в любом формате: pdf или doc. Мне нужно скачать всех форматов. Однако, нужно, чтобы парсинг был автоматический. То есть, чтобы можно было скачать из всех страниц сайта, где есть документа, при этом нельзя писать ссылки на этот сайт в коде. Всё должно быть автоматически сгенерированно.
Вот код:
from bs4 import BeautifulSoup
from urllib.request import urlopen
import re
import webbrowser
import urllib
import urllib.request
import os
import requests
from urllib.parse import urljoin
from bs4 import BeautifulSoup
from urllib.request import urlretrieve
#Need to download from all pages that has a files and page "/#documentu"
#but without writing all links in code. It must be an automatic.
urlpage = "https://fasie.ru/programs/programma-innoshkolnik/#documentu"
#If there is no such folder, the script will create one automatically
folder_location = r'C:\Download'
if not os.path.exists(folder_location):os.mkdir(folder_location)
response = requests.get(urlpage)
soup= BeautifulSoup(response.text, "html.parser")
for link in soup.select("a[href$='.pdf']"):
#Name the pdf files using the last portion of each link which are unique in this case
filename = os.path.join(folder_location,link['href'].split('/')[-1])
with open(filename, 'wb') as f:
f.write(requests.get(urljoin(urlpage,link['href'])).content)
path = r'C:\Download'
i = 1
for file_name in os.listdir(path):
base_name, ext = os.path.splitext(file_name)
abs_file_name = os.path.join(path, file_name)
new_abs_file_name = os.path.join(path, str(i) + ext)
os.rename(abs_file_name, new_abs_file_name)
i += 1
Документы хранятся в основном в разделе "#documentu". Но нужно, чтобы опять же, полностью ссылка не выводилась. Как сделать так, чтобы скачивались документы из всех страниц, где есть раздел "#documentu"?