Нужен исключительно блок с каталогом или вся страница с учетом открытого каталога?
Если полностью html страница с раскрытым каталогом то вот рабочий вариант:
from bs4 import BeautifulSoup
import requests
def main() -> None:
BaseUrl = 'https://www.drom.ru/catalog/'
response = requests.get(BaseUrl)
bsLXML = BeautifulSoup(response.text, "lxml")
with open('domru_catalog.html', 'w') as f:
f.write(str(bsLXML))
if __name__ == '__main__':
main()
Если будет ругаться на отсутствие парсера, то установи через pip или poetry, смотря через что ты работаешь модуль lxml
Весь рабочий процесс, в моем случае выглядит так:
mkdir parseDomru
cd parseDomru
poetry init
poetry env use python3.11
poetry shell
poetry add bs4 requests lxml
nvim main.py
python3.11 main.py
Если нужен HTML только div блока в котором находится каталог, то так:
from bs4 import BeautifulSoup
import requests
def main() -> None:
BaseUrl = 'https://www.drom.ru/catalog/'
response = requests.get(BaseUrl)
bsLXML = BeautifulSoup(response.text, "lxml")
with open('domru_catalog.html', 'w') as f:
f.write(str(bsLXML))
'''
Парсим только div в котором прописан каталог и пишем полученный
HTML в файл
'''
catalogDomru = bsLXML.find_all('div', {'class': 'css-18clw5c ehmqafe0'})
with open('domru_catalog_div.html', 'w') as f:
f.write(str(catalogDomru))
if __name__ == '__main__':
main()