2

Всем привет. Есть задача спарсить сайт, одна из опций - номер телефона клиента. Но номер телефона изначально скрыт, и выглядит это примерно вот так:

<div class="object-builder-phone" blst="true">+7 495 626-...</div>

Далее - кнопка:

<div class="toggle-button" id="show-phone_button" blst="313548" lst1="313548" lst="0">Показать телефон</div>

При нажатии на нее появляется телефон и у его div в параметре blst ставится значение false

Вопрос:

Как симитировать нажатие на эту кнопку? Использую

10
  • Если вы парсите и получаете исходный html с номером телефона, то какая разница отображается он в этом html или нет?
    – retorta
    12 июн 2017 в 9:06
  • @retorta при парсинге телефон скрыт, так как показано в записи 12 июн 2017 в 9:09
  • 1
    Если он присутствует в html, которую вы получаете, то он уже имеется и всё хорошо, а если он не присутствует в исходной странице, то ищите каким запросом он подгружается и выполняйте этот запрос для получения телефона.
    – retorta
    12 июн 2017 в 9:11
  • @retorta нажав на эту кнопку отправляется: "addphoneclick?id=141492840" методом post. Но я не знаю как получить новый html в котором телефон полностью присутствует. 12 июн 2017 в 9:17
  • Тогда моделируйте этот запрос и берите номер телефона из его ответа. Да, чтобы спарсить пользователя вам придётся сделать один запрос к основной его странице, а также один запрос, чтобы узнать телефон. Зачем вам новая html? Соберите необходимые данные по частям.
    – retorta
    12 июн 2017 в 9:22

3 ответа 3

1

Увидел знакомое название атрибутов и т.к. одно время игрался с таким, то кое-что осталось.

Судя по атрибутам, я знаю что за сайт (или его подобие) и предполагаю что для получения номера телефона, который скрыт, сайт никакие запросы не посылает, а хранит номер телефона скрыто – в атрибутах, таких как: blst и lst1.

Сам алгоритм получения номера находится в javascript страницы сайта, но его не сложно переписать:

import math

def decrypt_phone(clipped_phone, value):
    decrypt = value / 17

    p1 = int(math.floor(decrypt / 100))
    p2 = int(decrypt - 100 * p1)
    t1 = str(p1)[1:] + '-' + str(p2).zfill(2)

    return clipped_phone.replace("...", "") + t1

Берем пример автора и подставляем значения:

clipped_phone = '+7 495 626-...'
value = 313548
print(decrypt_phone(clipped_phone, value))

Получаем:

+7 495 626-84-44
1
  • Уже год руки не доходили выложить решение, спасибо, примерно так и делал) Алгоритм получения номера действительно находился в js-скриптах 28 июн 2018 в 15:27
1

Открой браузером, там есть консолька и история запросов http. Посмотри все запросы и ответы. Скорее всего телефон прилетает аяксом. На некоторых страницах даже не нужно загружать html для получения номера, а на некоторых аякс просто так не запросить.

В лучшем случае вы получите ответ json, в худшем b.soup прийдется менять на gecko или webkit и исполнять весь яваскипт там.

Также при использовании движка браузера будет возможность програмно кликать по кнопкам и ссылкам.

1
  • PhantomJS можно использовать через Selenium для автоматических действий со страницей
    – Andrew Che
    24 июн 2017 в 14:58
0
import requests
r = requests.post("http://httpbin.org/post", params={"did":123, "ng":456})

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.