0

Есть код который получает список ссылок links, далее из этих ссылок получаем заголовки h1 и записываем их в .csv. Как записать в этот csv ссылки страниц с которых мы парсим h1 (функция: get_h_content(html, links), переменная: url)?

import requests
from bs4 import BeautifulSoup
import csv

def get_html(url):
    r = requests.get(url)
    return r.text

def get_page_data(html):
    soup = BeautifulSoup(html, 'lxml')

    links = []

    ads = soup.find("nav", class_="main-mnu hidden-md hidden-sm hidden-xs").find("ul").find_all("li")
    for ad in ads:
        urls = ad.find("a").get("href")
        link = "https://gbcrem.by" + urls

        links.append(link)

    return links

def get_h_content(html, links):
    soup = BeautifulSoup(html,'lxml')
    page_url = soup.find_all("body", class_="ishome")

    for ad in page_url:
        try:
            h1 = ad.find_all("h1")
        except:
            h1 = "Нет заголовка"
        try:
            url = links
        except:
            url = "Нет ссылки"

        data = {"h1": h1,"url": url}
        write_csv(data)

def write_csv(data):
    from datetime import date
    today = str(date.today())
    with open(today + "-gbcrem2.csv", "a", newline='') as f:
        writer = csv.writer(f)

        writer.writerow( (data["h1"],
                                            data["url"]) )      

def main():

    url = "https://gbcrem.by"

    html = get_html(url)
    get_page_data(html)

    get_links = get_page_data(html)
    links = get_page_data(html)
    for url in links:
        html = get_html(url)
        get_h_content(html, links)


if __name__ == '__main__':
    main()

1 ответ 1

0

Необходимо было создать переменную urls которая в себе хранит ссылки списка links. После этого передать переменную urls в функцию get_h_content и записать в data.

import requests
from bs4 import BeautifulSoup
import csv

def vv_pars(first_url, headers):
        session = requests.Session()
        request = session.get(first_url, headers=headers)
        if request.status_code == 200:
            print("ok")
        else:
            print("error")

def get_html(url):
    r = requests.get(url)
    return r.text

def get_page_data(html):
    soup = BeautifulSoup(html, 'lxml')

    links = []

    ads = soup.find("nav", class_="main-mnu hidden-md hidden-sm hidden-xs").find("ul").find_all("li")
    for ad in ads:
        urls = ad.find("a").get("href")
        link = "https://gbcrem.by" + urls

        links.append(link)

    return links

def get_h_content(html, urls):
    soup = BeautifulSoup(html,'lxml')
    page_url = soup.find_all("body", class_="ishome")

    urll = urls

    for ad in page_url:
        try:
            h1 = ad.find_all("h1")
        except:
            h1 = "Нет заголовка"

        data = {"h1": h1,"urll": urll}
        write_csv(data)

def write_csv(data):
    from datetime import date
    today = str(date.today())
    with open(today + "-gbcrem.csv", "a", newline='') as f:
        writer = csv.writer(f)

        writer.writerow( (data["h1"],
                                            data["urll"]) )     

def main():

    headers = {"accept": "*/*",
                        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:70.0) Gecko/20100101 Firefox/70.0"}
    first_url = "https://gbcrem.by"

    vv_pars(first_url, headers)

    url = "https://gbcrem.by"

    html = get_html(url)
    get_page_data(html)

    links = get_page_data(html)
    for url in links:
        urls = url
        html = get_html(url)
        get_h_content(html, urls)

if __name__ == '__main__':
    main()

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.