0

В продолжение этого вопроса:

  • "Если хорошо поискать, можно обнаружить внутренний api, который отдает все эти данные (и даже гораздо больше, чем в html) сразу в JSON" - подскажите, пожалуйста, где именно находится JSON на странице https://www.cian.ru/kupit-kvartiru/ и подобных?
  • Страницы таких сайтов (в виде списка карточек) подгружают данные через JS. Но почему на некоторых JSON мне виден в Developer Tools, на других - нет (cian.ru, hh.ru)?

Подскажите, пожалуйста, какая у них технология?

4
  • 1
    api.cian.ru/search-offers/v2/search-offers-desktop
    – Jack_oS
    Commented 21 мая 2021 в 6:56
  • Указанная страница выбивает "405: Method Not Allowed". И в принципе хочу понять принцип работы таких сайтов, чтобы обходится без API, т.к. не везде он есть.
    – Vogel
    Commented 21 мая 2021 в 10:41
  • нужно отправлять post с параметрами и заголовками (возможно и куками), будет время - распишу... "чтобы обходится без API": парсить html или юзать selenium, это вы имеете ввиду?
    – Jack_oS
    Commented 21 мая 2021 в 11:08
  • Да, парсить или selenium
    – Vogel
    Commented 21 мая 2021 в 17:40

1 ответ 1

2

"где именно находится json на странице":

url = 'https://api.cian.ru/search-offers/v2/search-offers-desktop/'
headers = {'user-agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36'}
payload = {
    "jsonQuery":{
        "region": {"type": "terms", "value": [1]},
        "_type": "flatsale",
        "engine_version": {"type": "term" ,"value": 2},
        "page":{"type": "term", "value": 2}
    }
}

r = requests.post(url, headers=headers, json=payload)
offers = r.json()['data']['offersSerialized']

в offers - данные по объявлениям:

for o in offers:
   address = o['geo']['userInput']
   price = o['bargainTerms']['priceRur']

   print(f"{address:51} {price}")

выведет:

Москва, улица Фадеева, 4А                           92800000
Москва, Поклонная улица, вл9                        57731238
Россия, Москва, Печатников переулок, 19с1           107280000

...

Москва, Хамовники, улица Усачева, 11к2.4            219900000
Раменки, ул. Лобачевского                           71319100
Москва, Хамовники, улица Усачева, 11Е               119450000

4
  • "где именно находится json на странице" - имела ввиду на странице, упомянутой в самом вопросе - cian.ru/kupit-kvartiru, а не на api, который в Вашем первом комментарии
    – Vogel
    Commented 21 мая 2021 в 17:43
  • @Vogel это часть инфраструктуры этого сайта: данные с этого эндроинта скрип разносит по странице и ваш браузер рендерит по шаблону список объявлений
    – Jack_oS
    Commented 21 мая 2021 в 18:33
  • Проконсультируйте, пожалуйста, еще по вашему ответу: 1) в Developer Tools другая ссылка - api.cian.ru/search-offers/v1/get-infinite-search-result-desktop. Это новая версия api или я не туда смотрю? 2) Критерий "page":{"type": "term", "value": 2} не указан в jquery, где его нужно искать или по какой схеме самому строить запрос? 3) Имя поля ['data']['offersSerialized'] - это с самого json? В viewsource его нет. Как Вам удалось просмотреть json страницы, если при переходе по Вашей и найденной ссылке выбивает ошибку 405?
    – Vogel
    Commented 5 авг. 2021 в 11:22
  • @ Jack_oS Почему-то не добавилось упоминание пользователя
    – Vogel
    Commented 8 авг. 2021 в 9:22

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.