0

учусь парсингу, хотелось бы узнать как парсить одинаковые теги. Понятно что по id. Проверял по print(div), информацию о всех id выводит правильно, мне нужно вывести именно нужную информацию c сайта.

import requests,bs4

mass_id =['bd1', 'bd2', 'bd3', 'bd4','bd5','bd6','bd7']#создаем массив для перебора вариантов

pogoda=requests.get('https://sinoptik.com.ru/%D0%BF%D0%BE%D0%B3%D0%BE%D0%B4%D0%B0-%D0%BC%D0%BE%D1%81%D0%BA%D0%B2%D0%B0')#получение кода web-странцы в html
soup=bs4.BeautifulSoup(pogoda.text, "html.parser")
# select возвращает список всех найденных тегов с заданным селектором

for i in mass_id:
    div = soup.find('div', id=i)
    p1 = soup.select('.id .day-link')
    day_link=p1[0].getText()
    p2 = soup.select('.id .date')
    date = p2[0].getText()
    p3 = soup.select('.id .month')
    month = p3[0].getText()
    p4 = soup.select('.id .temperature .min')
    min = p4[0].getText()
    p5 = soup.select('.id .temperature .max')
    max = p5[0].getText()
    print('Дата: ' + date + ' ' + day_link + '\n' + 'Температура: ' + min + ' ' + max)
3
  • Что за "нужную информацию"? Чем она отличается от ненужной? 22 мая 2019 в 21:59
  • Он выводит полность html-код по заданному id
    – Sheva12
    23 мая 2019 в 11:17
  • А надо что бы он выводил только текст из классов которые лежат в этом id
    – Sheva12
    23 мая 2019 в 11:19

1 ответ 1

3

Что такое select? Первый раз вижу. Парсинг здорового человека:

# page_html содержит content объекта Requests короче HTML-страницу
page_soup = BeautifulSoup(page_html, 'lxml')
subject_url_soups = page_soup.find('div', class_='catalog-list').find_all('div', class_='item_table')

метод find возвращает объект, у которого ты можешь брать свойства (text, href etc), а метод find_all возвращает список. Обрати внимание на class_. Вот такие цепочки можно строить:

for subject_url_soup in subject_url_soups:
    subject_url = subject_url_soup.find('div', сlass_='description').find('h3').find('a').get('href')
    print(subject_url)

Как-то так. А вообще, я бы на твоём месте вообще начал с изучения структуры сайта, какие теги в какие вложены, как найти нужную инфу в DOM, как однозначно указать скрипту на нужный тег, и потом только приступал бы к написанию кода. Собственно, когда-то я тоже парсеры писал :) а по bs4 есть неплохая методичка, по которой я сам в своё время изучал парсинг. Удачи!

4
  • Что такое select? Первый раз вижу. это функция для написания поиска через css-селекторы. Например, ваш поиск page_soup.find('div', class_='catalog-list').find_all('div', class_='item_table') тоже самое, что page_soup.select('div.catalog-list div.item_table'). Кст, это '.id .day-link' говорит что нужно искать элементы с class='day-link' которые находятся внутри элементов class='id' (причем не обязательно будут прямыми детьми, в отличии от '.id > .day-link')
    – gil9red
    23 мая 2019 в 6:04
  • @gil9red да я образно написал. Просто в своё время решил что неудобно через select и юзал везде find и find_all 23 мая 2019 в 6:31
  • Согласен, find бывает удобнее и нагляднее, но это от ситуации зависит :)
    – gil9red
    23 мая 2019 в 6:49
  • Спасибо большое)
    – Sheva12
    24 мая 2019 в 6:32

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.