0

Достаточно типовая задача:

Есть сайт (например: https://mirturbaz.ru/russia). Надо спарсить карточки товара/услуг и составить таблицу, содержащую некоторую информацию из этих карточек.

Программу пытался написать тоже типовым образом:

import requests
from bs4 import BeautifulSoup

url = 'https://mirturbaz.ru/russia'
params = {'page': 1}
...
response = requests.get(url, params=params)
...
soup = BeautifulSoup(response.text, 'lxml')
items = soup.find_all('div', class_='card card_big')

Тут у меня и возникает проблема: soup = BeautifulSoup() возвращает пустой список. Если на сайте открыть консоль разработчика, то там теги div класса 'card card_big' видны.

Но BeautifulSoup их не находит. Я сохранил в виде HTML файла response и действительно, там нет никаких карточек.

Я подозреваю, что response = requests.get(url, params=params) только некий "исходный вариант" странички. А для того, что бы он превратился в рабочий, нужно выполнить некие скрипты. Подозреваю, что для этого нужно использовать Selenium.

Кто-то может пояснить ситуацию? Где что нужно читать?

4
  • Вероятно содержимое страницы заполняется динамически посредством javascript, который загружает данные с сервера. Вам нужно только найти куда какие запросы отправляются. Считайте, что это API сервиса. Используйте его самостоятельно. Парсить надо только ответы на эти запросы.
    – Sergey
    19 мар 2022 в 4:01
  • @Sergey -" это API сервиса" - За последние 2 года, при эпидемии, огромное количество малого и среднего бизнеса ушло в иНет. И все они клепают мини-сайты у себя в кухне, на коленке :-( В лучшем случае, с использованием buble или Wix. Сложно надеяться на существование API. Зачем им это нужно?
    – Sergey
    19 мар 2022 в 4:43
  • Однако как объяснить то, что вы не можете найти какие-то теги в исходной странице, но они есть?
    – Sergey
    19 мар 2022 в 5:05
  • @Sergey -"как объяснить" - Я не знаю. Потому и спрашиваю. Ещё раз повторю то, что мне сказали "старшие товарищи" - среди тегов в <hed> есть теги <script>, содержащие ссылки на хрен его знает, что. Возможно, что в этих скриптах есть нечто, что запускается браузером уже после полной загрузки странички. Поэтому в окошке браузера карточки товара есть, а в исходном HTML, который получается requests.get() ничего нет. Вот я испрашиваю - как найти и запустить этот код инициализации. Возможно, что на эту тему что-то написано в стандарте HTML, но я не знаю где искать.
    – Sergey
    19 мар 2022 в 8:15

2 ответа 2

1

"а в исходном HTML, который получается requests.get() ничего нет" плохо искали

import requests
from bs4 import BeautifulSoup

url = 'https://mirturbaz.ru/russia'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'lxml')
items = soup.find_all('section', class_='not-used-camp-card')
for item in items:
    name = item.find('a').text.strip()
    print(name)

ответ

База отдыха Стрежень
База отдыха Дон
База отдыха Золотые пески
Загородный клуб Астория
Загородный клуб Ёлки
База отдыха Дом Солнца
База отдыха Лазурит
База отдыха Дубовая Роща
База отдыха Донская Миля
База отдыха Дом на Трехречье
База отдыха Лесное озеро
Санаторий Лаба
База семейного отдыха Сибириада
Коттеджный комплекс Светозар
Туристический комплекс Фрегат
База отдыха Березовые дали
База отдыха Золотой лотос
1

плохо искали

Дело оказалось не в этом.Я вставил в Ваш пример операторы сохранения прочитанной HTML странички:

with open('page1.html', 'w') as f:
    print(response.text, file=f)

и запустил их последовательно. Только Ваш пример сохранял в файл page1.html, а мой - в файл page2.html. Разница оказалась очевидной:

$ ls -l
итого 172
-rw-r--r--. 1 lary lary 130337 мар 20 09:31 page1.html
-rw-r--r--. 1 lary lary  35059 мар 20 09:32 page2.html

Т.е. проблема была не в find_all(), а в requests.get()

params = {'page': 1} 
response = requests.get(url, params=params)

Я убрал params=params и исправил имя файла для сохранения на page3.html. Результат оказался неожиданным:

ls -l
итого 300
-rw-r--r--. 1 lary lary 130337 мар 20 09:31 page1.html
-rw-r--r--. 1 lary lary  35059 мар 20 09:32 page2.html
-rw-r--r--. 1 lary lary 130337 мар 20 09:34 page3.html
bash-5.1$ 

Получается, что правильной выборке текста HTML странички каким-то образом мешает параметр params = {'page': 1}. Почему так - я пока не разобрался.

К сожалению, тегов с классом card_big там всё равно нет. А использовать теги с классом not-used-camp-card мне кажется довольно сомнительным.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.