Есть код который получает список ссылок links
, далее из этих ссылок получаем заголовки h1
и записываем их в .csv
. Как записать в этот csv
ссылки страниц с которых мы парсим h1
(функция: get_h_content(html, links)
, переменная: url
)?
import requests
from bs4 import BeautifulSoup
import csv
def get_html(url):
r = requests.get(url)
return r.text
def get_page_data(html):
soup = BeautifulSoup(html, 'lxml')
links = []
ads = soup.find("nav", class_="main-mnu hidden-md hidden-sm hidden-xs").find("ul").find_all("li")
for ad in ads:
urls = ad.find("a").get("href")
link = "https://gbcrem.by" + urls
links.append(link)
return links
def get_h_content(html, links):
soup = BeautifulSoup(html,'lxml')
page_url = soup.find_all("body", class_="ishome")
for ad in page_url:
try:
h1 = ad.find_all("h1")
except:
h1 = "Нет заголовка"
try:
url = links
except:
url = "Нет ссылки"
data = {"h1": h1,"url": url}
write_csv(data)
def write_csv(data):
from datetime import date
today = str(date.today())
with open(today + "-gbcrem2.csv", "a", newline='') as f:
writer = csv.writer(f)
writer.writerow( (data["h1"],
data["url"]) )
def main():
url = "https://gbcrem.by"
html = get_html(url)
get_page_data(html)
get_links = get_page_data(html)
links = get_page_data(html)
for url in links:
html = get_html(url)
get_h_content(html, links)
if __name__ == '__main__':
main()