0

Пытаюсь попарсить сайт hh.ru , но что то не выходит. Вот кусочек кода:

def parse_page(self, text: str):
        soup = BeautifulSoup(text,'lxml')
        container = soup.select('div.vacancy-serp > div.vacancy-serp-item.vacancy-serp-item_premium')
        print(container)

Не может найти и все, возвращает пустой список. Хотя в коде элемента страницы все так как я написал, я и копировал селектор, и вставлял в container , все равно пустой список возвращает. Вот кусочек кода элемента страницы:

<div data-qa="vacancy-serp__vacancy vacancy-serp__vacancy_premium" class="vacancy-serp-item vacancy-serp-item_premium">

Перед ним стоит div с классом vacancy-serp . Помогите пожалуйста

2
  • А вы проверяли - это всё есть в text? Сайт может и на JS наполовину генериться и то, что вы видите в браузере - не факт, что это то, что отдаёт сервер в виде страницы скрипту. И тогда надо применять какой-нибудь Selenium или аналоги.
    – CrazyElf
    26 июн 2020 в 15:15
  • 1
    @CrazyElf ну в интернете нет информации по поводу того, что они используют, но то, как устроен сайт дает некоторые предпосылки для предположений, что это какой нибудь react или angular. А ну и блог на хабре, где они разжевывают свой jsx
    – Mrage
    26 июн 2020 в 15:19

1 ответ 1

1

Дело в том, что hh.ru использует javascript для генерации контента, поэтому вам нужно парсить данные используя браузер (selenium). Дело в том,селениум получает страницу в исходном виде(исполняя js файлы), в отличии от запроса к странице, который возвращает вам то, что отдает сервер в обычной ситуации браузеру, а остальной контент уже подгружается со стороны клиента(в браузере), а не отдается вместе со всей страницей с сервера.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.