Достаточно типовая задача:
Есть сайт (например: https://mirturbaz.ru/russia). Надо спарсить карточки товара/услуг и составить таблицу, содержащую некоторую информацию из этих карточек.
Программу пытался написать тоже типовым образом:
import requests
from bs4 import BeautifulSoup
url = 'https://mirturbaz.ru/russia'
params = {'page': 1}
...
response = requests.get(url, params=params)
...
soup = BeautifulSoup(response.text, 'lxml')
items = soup.find_all('div', class_='card card_big')
Тут у меня и возникает проблема: soup = BeautifulSoup() возвращает пустой список. Если на сайте открыть консоль разработчика, то там теги div класса 'card card_big' видны.
Но BeautifulSoup их не находит. Я сохранил в виде HTML файла response и действительно, там нет никаких карточек.
Я подозреваю, что response = requests.get(url, params=params) только некий "исходный вариант" странички. А для того, что бы он превратился в рабочий, нужно выполнить некие скрипты. Подозреваю, что для этого нужно использовать Selenium.
Кто-то может пояснить ситуацию? Где что нужно читать?