Как парсить сайт, в котором адресная строка не меняется?
Есть сайт госреестр.рф, там при поиске не меняется URL...
Как парсить подобные сайты?
-
1при выполнении POST запроса так и должно быть...– Jack_oS7 мая 2021 в 6:34
-
Для имитации действий в браузере можно использовать selenium и по достижению определенный страницы/условия парсить ее HTML– asanisimov7 мая 2021 в 6:55
-
@asanisimov там и requests с bs4 - за глаза...– Jack_oS7 мая 2021 в 7:06
-
@Jack_oS тоже верно) Я скорее поделился следующим инструментов в списке)– asanisimov7 мая 2021 в 7:11
-
Чтобы поблагодарить автора ответа, проголосуйте за ответ и отметьте его как решение.– Jack_oS7 мая 2021 в 14:43
Добавить комментарий
|
1 ответ
- "URL не меняется" - при выполнении POST запроса так и должно быть;
- "Как парсить подобные сайты" - тем, что у вас в тегах: requests и beautiful-soup
import requests
from bs4 import BeautifulSoup
url = 'https://xn--c1aea8akcddj.xn--p1ai/'
headers = {'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.72 Safari/537.36'}
payload = {'searchCriteria': 'Сергей Андреевич Поляков'}
r = requests.post(url, headers=headers, data=payload)
soup = BeautifulSoup(r.content, 'html.parser')
search_result_text = soup.find('p', class_='search-result-text')
>>> print(search_result_text.text)
По поисковому запросу:
Сергей Андреевич Поляков
Сергей Андреевич Поляков
Найдено: 46 (за 0,257 сек.)
>>> print(cards[0].text.strip())
ООО "ПАРТНЕР ПЛЮС" Не действует
ОГРН: 1096312000290 ИНН: 6312086999
ДИРЕКТОР: ПОЛЯКОВ СЕРГЕЙ АНДРЕЕВИЧ (ИНН 732500328708)
443091, Область Самарская, Город Самара, Проспект Кирова, 261, 33
Найдено: в учредителях, в руководителях
Подробнее
PS не верьте глазам, анализируйте Network в DevTools вашего браузера ;)