0
import requests
from bs4 import BeautifulSoup as BS

headers = {"accept": "*/*",
           "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.75 Safari/537.36"}

base_url = "http://hh.kz/search/vacancy?area=160&st=searchVacancy&text=python&from=suggest_post"

def hh_parse(base_url, headers):
    session = requests.Session()
    request = session.get(base_url, headers = headers)
    if request.status_code == 200:
        soup = BS(base_url, "html.parser")
        divs = soup.find("div", attrs = {"data-qa": "vacancy-serp__vacancy"})
        for div in divs:
            title = div.find("a", attrs = {"data-qa": "vacancy-serp__vacancy-title"}).text
            href = div.find("a", attrs = {"data-qa": "vacancy-serp__vacancy-title"})["href"]
            print(href)
            print(title)
    else:
        print("error")

hh_parse(base_url, headers)

C:\Users\User\AppData\Local\Programs\Python\Python37-32\lib\site-packages\bs4__init__.py:389: UserWarning: "http://hh.kz/search/vacancy?area=160&st=searchVacancy&text=python&from=suggest_post" looks like a URL. Beautiful Soup is not an HTTP client. You should probably use an HTTP client like requests to get the document behind the URL, and feed that document to Beautiful Soup.

2
  • Ну и зачем вы в BS передаёте урл?
    – Alexey Ten
    1 янв 2020 в 8:01
  • Какое слово непонятно в написанном тексте?
    – andreymal
    1 янв 2020 в 12:10

1 ответ 1

1

В Beautiful Soup нужно передавать не ссылку, а сам html (в текстом виде), это делается через request.text, документация по bs, т.е.

soup = BS(base_url, "html.parser")

меняете на:

soup = BS(request.text, "html.parser")

и лучше вместо request писать общепринятую r, ибо первый вариант очень близок по названию как самому модулю и легко запутаться.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.