0

Изучая BeautifullSoup4 решил спарсить дививенды по каждой бумаге на сайте Доход.ру

Получилось спарсить все ссылки в переменную "item" в первом блоке кода но не получаеться к каждой из получених ссылок пременить метод из второго блока кода.

Первый блок:

import requests
from bs4 import BeautifulSoup

headers = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36"
}


url = "https://www.dohod.ru/ik/analytics/dividend"
req = requests.get(url, headers=headers)
src = req.text

soup = BeautifulSoup(src, "lxml")

first_page_urls = soup.find("tbody").find_all("a") 

for item in first_page_urls:
    item = "https://www.dohod.ru/" + item.get("href")
    print(item) <<< тут список всех ссылок.

Второй блок:

for div_name in item:

    info_block = soup.find("div", class_="main_content")
    div_name = info_block.find("h1")
    print(div_name) <<< тут назнавие эмитента.

Как заставить второй блок кода перебирать ссылки по очереди из переменной "item"?

1 ответ 1

0

Примерно так. Собираем ссылки в список, потом проходим по списку. Функционал получения и парсинга страницы через BS я вынес в отдельную функцию, потому что это код используется несколько раз. Ссылки были неправильные, исправил:

import requests
from bs4 import BeautifulSoup

headers = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36"
}

def soup_get(url):
    req = requests.get(url, headers=headers)
    src = req.content
    soup = BeautifulSoup(src, "lxml")
    return soup

main_url = "https://www.dohod.ru/ik/analytics/dividend"
soup = soup_get(main_url)
first_page_urls = soup.find("tbody").find_all("a") 

items = []
for item in first_page_urls:
    item = "https://www.dohod.ru/" + item.get("href")
    print(item)
    items.append(item)

for page_url in items:
    soup = soup_get(page_url)
    info_block = soup.find("div", class_="main_content")
    div_name = info_block.find("h1")
    print(div_name)
8
  • Спасибо мне все еще не понятно но все работает! "Функцию получения контента вынес в отдельную функцию" это вы про def soup_get(url): функцию говорите? 27 авг 2021 в 14:58
  • @AlphaObelisk Ну да. Вам же по каждой ссылке опять нужно страницу получить и обработать BS, если я правильно понял. Весь код, который повторяется, лучше выносить в отдельную функцию. Я там немного переформулировал, может понятнее будет.
    – CrazyElf
    27 авг 2021 в 15:15
  • у меня возник еще вопрос по поводу soup = soup_get(url) в последнем цикле тут как бы мы снова вызываем функцию которая в самом начале и 'url' там относиться к первой странице с сылками в переменной url = "https://www.dohod.ru/ik/analytics/dividend" (если я правильно понимаю) так а как же python понимает что ему все же нужно смотреть в список ссылок из списка items и игнорировать ранее заданую переменную с первой ссылкой? 27 авг 2021 в 15:38
  • Надо было мне по-разному эти все переменные назвать. У функции есть аргументы, она видит тот url, который ей в качестве аргумента передан.
    – CrazyElf
    27 авг 2021 в 15:40
  • можете привести пример с разными названиями? мне будет понятнее. 27 авг 2021 в 15:42

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.