4

Делаю парсинг одного сайта. Хочу вывести одну ссылку оттуда, но выводится не ссылка а class="url_protected", что означает "защищенная ссылка". То есть при просмотре кода эта ссылка доступна, а при парсинге нет. Можно ли вообще вынуть эту ссылку оттуда и как?

Вот код из сайта, мне нужна ссылка из data-url:

<a class="" data-url="https://cdn8.sefon.pro/files/prev/193/Sontry%20-%20%D0%94%D0%B8%D1%81%D0%B1%D0%B0%D0%BB%D0%B0%D0%BD%D1%81%20%28192kbps%29.mp3" data-key="6918073254"></a>

Код из программы:

<a class="url_protected" data-key="6918073254" data-url="#MTkya2cHM9wcmV5tcDM=6aHR0cnklMjAtJTIwJUQwJTk0Tb2LzE52JwcyUyOS54JUQxJTgxJUQwJUIxJUQwJUIwJUQwJUJCJUQwJUIwJUQwJUJEJUQxJTgxJTIwJTI4LnNlZm9Ly0JUQwJUI44My9maWxlcy9uLnByby9jZG" onclick="return false;"></a>

Если что, вот ссылка на сам сайт: ru.sefon.cc/news

1
  • Очевидно, что ссылка каким-то образом зашифрована. Вам надо попробовать стандартное что нибудь (тот же base64). И поискать в прилетающих js метод, расшифровывающий эти данные. Ну и отреверинженерить найденное. зы: очень похоже что там таки base64, но с переставленными местами кусками
    – Sheridan
    24 авг 2020 в 13:47

1 ответ 1

15

Можно найти код дешифровки ссылки среди кода и повторить его на . Или использовать парсер с поддержкой движка (за этим смотрите в PPS и PPPS под ответом).

Было интересно разбираться с дешифровальщиком на сайте :)

Тут будет короткий ответ на вопрос, а после него будет подробный:

import base64


def decrypt_url(data: str, key: str) -> str:
    if data.startswith('#'):
        data = data[1:]

    for x in key[::-1]:
        data = x.join(reversed(data.split(x)))
    
    return base64.b64decode(data).decode('utf-8')


data_url = "#cHM5LnNlZm0JUQwJUI4aHR0cnklMjAtJTIwJUQwJTk0jZG2LzE9Tb2JwcyUyOS5Ly9wcmV2MTkya65tcDM=4JUQxJTgxJUQwJUIxJUQwJUIwJUQwJUJCJUQwJUIwJUQwJUJEJUQxJTgxJTIwJTI45My9maWxlcy9uLnByby9"
data_key = "4263589710"

url = decrypt_url(data_url, data_key)
print(url)
# https://cdn9.sefon.pro/files/prev/193/Sontry%20-%20%D0%94%D0%B8%D1%81%D0%B1%D0%B0%D0%BB%D0%B0%D0%BD%D1%81%20%28192kbps%29.mp3

1. Изучая страницу сайта заметил интересное место:

var _0xfdee=["\x75\x72\x6C","\x64\x61\x74\x61","\x68\x72\x65\x66","\x61\x74\x74\x72","\x6B\x65\x79","\x73\x75\x62\x73\x74\x72","\x23","\x72\x65\x76\x65\x72\x73\x65","","\x73\x70\x6C\x69\x74","\x6A\x6F\x69\x6E","\x66\x6F\x72\x45\x61\x63\x68","\x64\x61\x74\x61\x2D\x75\x72\x6C","\x75\x72\x6C\x5F\x70\x72\x6F\x74\x65\x63\x74\x65\x64","\x72\x65\x6D\x6F\x76\x65\x43\x6C\x61\x73\x73","\x65\x61\x63\x68","\x2E\x75\x72\x6C\x5F\x70\x72\x6F\x74\x65\x63\x74\x65\x64"];
$(_0xfdee[16])[_0xfdee[15]](function(_0x130bx1,_0x130bx2){var _0x130bx3=$(_0x130bx2),_0x130bx4=_0x130bx3[_0xfdee[1]](_0xfdee[0])|| _0x130bx3[_0xfdee[3]](_0xfdee[2]),_0x130bx5=_0x130bx3[_0xfdee[1]](_0xfdee[4]).toString();_0x130bx4= _0x130bx4[_0xfdee[5]](0,1)=== _0xfdee[6]?_0x130bx4[_0xfdee[5]](1):_0x130bx4;_0x130bx5= _0x130bx5[_0xfdee[9]](_0xfdee[8])[_0xfdee[7]]();_0x130bx5[_0xfdee[11]](function(_0x130bx6){_0x130bx4= _0x130bx4[_0xfdee[9]](_0x130bx6)[_0xfdee[7]]()[_0xfdee[10]](_0x130bx6)});if(_0x130bx4){var _0x130bx7=atob(_0x130bx4);if(_0x130bx3[_0xfdee[1]](_0xfdee[0])){_0x130bx3[_0xfdee[3]](_0xfdee[12],_0x130bx7)}else {_0x130bx3[_0xfdee[3]](_0xfdee[2],_0x130bx7)}};_0x130bx3[_0xfdee[14]](_0xfdee[13])})

Это явная обфускация кода, а значит тут что-то спрятали от наших любопытных глаз.

Отформатируем код:

var _0xfdee=[
    "\x75\x72\x6C","\x64\x61\x74\x61","\x68\x72\x65\x66","\x61\x74\x74\x72",
    "\x6B\x65\x79","\x73\x75\x62\x73\x74\x72","\x23","\x72\x65\x76\x65\x72\x73\x65",
    "","\x73\x70\x6C\x69\x74","\x6A\x6F\x69\x6E","\x66\x6F\x72\x45\x61\x63\x68",
    "\x64\x61\x74\x61\x2D\x75\x72\x6C","\x75\x72\x6C\x5F\x70\x72\x6F\x74\x65\x63\x74\x65\x64","\x72\x65\x6D\x6F\x76\x65\x43\x6C\x61\x73\x73","\x65\x61\x63\x68",
    "\x2E\x75\x72\x6C\x5F\x70\x72\x6F\x74\x65\x63\x74\x65\x64"
];
$(_0xfdee[16])[_0xfdee[15]](function (_0x130bx1, _0x130bx2) {
    var _0x130bx3 = $(_0x130bx2),
    _0x130bx4 = _0x130bx3[_0xfdee[1]](_0xfdee[0]) || _0x130bx3[_0xfdee[3]](_0xfdee[2]),
    _0x130bx5 = _0x130bx3[_0xfdee[1]](_0xfdee[4]).toString();
    _0x130bx4 = _0x130bx4[_0xfdee[5]](0, 1) === _0xfdee[6] ? _0x130bx4[_0xfdee[5]](1) : _0x130bx4;
    _0x130bx5 = _0x130bx5[_0xfdee[9]](_0xfdee[8])[_0xfdee[7]]();
    _0x130bx5[_0xfdee[11]](function (_0x130bx6) {
        _0x130bx4 = _0x130bx4[_0xfdee[9]](_0x130bx6)[_0xfdee[7]]()[_0xfdee[10]](_0x130bx6)
    });
    if (_0x130bx4) {
        var _0x130bx7 = atob(_0x130bx4);
        if (_0x130bx3[_0xfdee[1]](_0xfdee[0])) {
            _0x130bx3[_0xfdee[3]](_0xfdee[12], _0x130bx7)
        } else {
            _0x130bx3[_0xfdee[3]](_0xfdee[2], _0x130bx7)
        }
    };
    _0x130bx3[_0xfdee[14]](_0xfdee[13])
})

2. Сделаем понятнее массив

Достаточно было вывести строки из массива _0xfdee в консоли, чтобы получить понятные человеку значения:

var _0xfdee = [
    "url", "data", "href", "attr", 
    "key", "substr", "#", "reverse", 
    "", "split", "join", "forEach", 
    "data-url", "url_protected", "removeClass", "each", 
    ".url_protected"
];

3. Теперь де-обфусцируем код.

Накидал скрипт на питоне:

import re

text = """
$(_0xfdee[16])[_0xfdee[15]](function (_0x130bx1, _0x130bx2) {
    var _0x130bx3 = $(_0x130bx2),
    _0x130bx4 = _0x130bx3[_0xfdee[1]](_0xfdee[0]) || _0x130bx3[_0xfdee[3]](_0xfdee[2]),
    _0x130bx5 = _0x130bx3[_0xfdee[1]](_0xfdee[4]).toString();
    _0x130bx4 = _0x130bx4[_0xfdee[5]](0, 1) === _0xfdee[6] ? _0x130bx4[_0xfdee[5]](1) : _0x130bx4;
    _0x130bx5 = _0x130bx5[_0xfdee[9]](_0xfdee[8])[_0xfdee[7]]();
    _0x130bx5[_0xfdee[11]](function (_0x130bx6) {
        _0x130bx4 = _0x130bx4[_0xfdee[9]](_0x130bx6)[_0xfdee[7]]()[_0xfdee[10]](_0x130bx6)
    });
    if (_0x130bx4) {
        var _0x130bx7 = atob(_0x130bx4);
        if (_0x130bx3[_0xfdee[1]](_0xfdee[0])) {
            _0x130bx3[_0xfdee[3]](_0xfdee[12], _0x130bx7)
        } else {
            _0x130bx3[_0xfdee[3]](_0xfdee[2], _0x130bx7)
        }
    };
    _0x130bx3[_0xfdee[14]](_0xfdee[13])
})
"""

_0xfdee = [
    "url", "data", "href", "attr",
    "key", "substr", "#", "reverse",
    "", "split", "join", "forEach",
    "data-url", "url_protected", "removeClass", "each",
    ".url_protected"
]

def on_match(m):
    i = int(m.group(1))
    return f'"{_0xfdee[i]}"'

new_text = re.sub(r'_0xfdee\[(\d+)\]', on_match, text)
print(new_text)

Получаем:

$(".url_protected")["each"](function (_0x130bx1, _0x130bx2) {
    var _0x130bx3 = $(_0x130bx2),
    _0x130bx4 = _0x130bx3["data"]("url") || _0x130bx3["attr"]("href"),
    _0x130bx5 = _0x130bx3["data"]("key").toString();
    _0x130bx4 = _0x130bx4["substr"](0, 1) === "#" ? _0x130bx4["substr"](1) : _0x130bx4;
    _0x130bx5 = _0x130bx5["split"]("")["reverse"]();
    _0x130bx5["forEach"](function (_0x130bx6) {
        _0x130bx4 = _0x130bx4["split"](_0x130bx6)["reverse"]()["join"](_0x130bx6)
    });
    if (_0x130bx4) {
        var _0x130bx7 = atob(_0x130bx4);
        if (_0x130bx3["data"]("url")) {
            _0x130bx3["attr"]("data-url", _0x130bx7)
        } else {
            _0x130bx3["attr"]("href", _0x130bx7)
        }
    };
    _0x130bx3["removeClass"]("url_protected")
})

4. Последняя обработка кода, даем понятные имена переменным:

$(".url_protected")["each"](function (i, el) {
    var el = $(el),
        data = el["data"]("url") || el["attr"]("href"),
        key = el["data"]("key").toString();
    data = data["substr"](0, 1) === "#" ? url["substr"](1) : data;
    key = key["split"]("")["reverse"]();
    key["forEach"](function (el) {
        data = data["split"](el)["reverse"]()["join"](el)
    });
    if (url) {
        var url = atob(data);
        if (el["data"]("url")) {
            el["attr"]("data-url", url)
        } else {
            el["attr"]("href", url)
        }
    };
    el["removeClass"]("url_protected")
})

5. Останется только переписать этот код на python :)


PS.

Полный пример парсера:

import base64

from bs4 import BeautifulSoup
import requests


def decrypt_url(data: str, key: str) -> str:
    if data.startswith('#'):
        data = data[1:]

    for x in key[::-1]:
        data = x.join(reversed(data.split(x)))

    return base64.b64decode(data).decode('utf-8')


rs = requests.get('https://ru.sefon.cc/news/')
root = BeautifulSoup(rs.content, 'html.parser')

for a in root.select('.url_protected'):
    data = a['data-url']
    key = a['data-key']

    url = decrypt_url(data, key)
    print(url)

# https://cdn5.sefon.pro/files/prev/193/Sontry%20-%20%D0%94%D0%B8%D1%81%D0%B1%D0%B0%D0%BB%D0%B0%D0%BD%D1%81%20%28192kbps%29.mp3
# https://cdn5.sefon.pro/files/prev/193/Orlando%20-%20%D0%9D%D0%B5%20%D0%A1%D1%82%D0%B5%D1%81%D0%BD%D1%8F%D0%B9%D1%81%D1%8F%20%28192kbps%29.mp3
# https://cdn8.sefon.pro/files/prev/193/%D0%A1%D0%B0%D1%88%D0%B0%20%D0%94%D0%B6%D0%B0%D0%B7%20-%20%D0%9F%D1%8C%D1%8F%D0%BD%D1%8B%D0%B9%20%D0%9F%D0%BE%20%D0%94%D0%B2%D0%BE%D1%80%D0%B0%D0%BC%20%28192kbps%29.mp3
# https://cdn1.sefon.pro/files/prev/193/%D0%9E%D0%BA%D1%81%D0%B0%D0%BD%D0%B0%20%D0%9A%D0%BE%D0%B2%D0%B0%D0%BB%D0%B5%D0%B2%D1%81%D0%BA%D0%B0%D1%8F%20%26%20Andery%20Toronto%20-%20%D0%94%D0%B5%D0%B2%D0%BE%D1%87%D0%BA%D0%B0%20%D0%9D%D0%B5%20%D0%9F%D0%BB%D0%B0%D1%87%D1%8C%20%28192kbps%29.mp3
# https://cdn2.sefon.pro/files/prev/193/%D0%9F%D0%B0%D1%88%D0%B0%20Proorok%20-%20%D0%9A%20%D0%9D%D0%B5%D0%B1%D0%B5%D1%81%D0%B0%D0%BC%20%28192kbps%29.mp3
# ...
# https://cdn6.sefon.pro/files/prev/193/Viki%20Gabor%20-%20Not%20Gonna%20Get%20It%20%28192kbps%29.mp3
# https://cdn5.sefon.pro/files/prev/193/%D0%90%D1%80%D0%B8%D1%82%D0%BC%D0%B8%D1%8F%20feat.%20Lazy%20Cat%20-%20%D0%9A%D0%BE%D1%81%D0%BC%D0%BE%D1%81%20%28192kbps%29.mp3
# https://cdn3.sefon.pro/files/prev/193/Delaney%20Jane%20-%20Want%20You%20Now%20%28192kbps%29.mp3
# https://cdn8.sefon.pro/files/prev/193/%D0%9B%D0%B5%D0%B2%D0%B0%D0%BD%20%D0%93%D0%BE%D1%80%D0%BE%D0%B7%D0%B8%D1%8F%20-%20%D0%9F%D0%B0%D1%80%D0%BA%20%D0%93%D0%BE%D1%80%D1%8C%D0%BA%D0%BE%D0%B3%D0%BE%20%28192kbps%29.mp3
# https://cdn6.sefon.pro/files/prev/193/Carlie%20Hanson%20-%20Good%20Enough%20%28192kbps%29.mp3


PPS.

Та защита, кст, очень просто обходится через selenium:

import traceback

# pip install selenium
from selenium import webdriver
from selenium.webdriver.firefox.options import Options


URL = 'https://ru.sefon.cc/news/'


options = Options()
options.add_argument('--headless')

driver = webdriver.Firefox(options=options)
try:
    driver.implicitly_wait(5)
    driver.get(URL)
    print(f'Title: {driver.title!r}')

    for a in driver.find_elements_by_css_selector('.mp3 > .btns > a[data-url]'):
        print(a.get_attribute('data-url'))

    # https://cdn5.sefon.pro/files/prev/193/Sontry%20-%20%D0%94%D0%B8%D1%81%D0%B1%D0%B0%D0%BB%D0%B0%D0%BD%D1%81%20%28192kbps%29.mp3
    # https://cdn5.sefon.pro/files/prev/193/Orlando%20-%20%D0%9D%D0%B5%20%D0%A1%D1%82%D0%B5%D1%81%D0%BD%D1%8F%D0%B9%D1%81%D1%8F%20%28192kbps%29.mp3
    # https://cdn8.sefon.pro/files/prev/193/%D0%A1%D0%B0%D1%88%D0%B0%20%D0%94%D0%B6%D0%B0%D0%B7%20-%20%D0%9F%D1%8C%D1%8F%D0%BD%D1%8B%D0%B9%20%D0%9F%D0%BE%20%D0%94%D0%B2%D0%BE%D1%80%D0%B0%D0%BC%20%28192kbps%29.mp3
    # https://cdn1.sefon.pro/files/prev/193/%D0%9E%D0%BA%D1%81%D0%B0%D0%BD%D0%B0%20%D0%9A%D0%BE%D0%B2%D0%B0%D0%BB%D0%B5%D0%B2%D1%81%D0%BA%D0%B0%D1%8F%20%26%20Andery%20Toronto%20-%20%D0%94%D0%B5%D0%B2%D0%BE%D1%87%D0%BA%D0%B0%20%D0%9D%D0%B5%20%D0%9F%D0%BB%D0%B0%D1%87%D1%8C%20%28192kbps%29.mp3
    # ...
    # https://cdn5.sefon.pro/files/prev/193/%D0%90%D1%80%D0%B8%D1%82%D0%BC%D0%B8%D1%8F%20feat.%20Lazy%20Cat%20-%20%D0%9A%D0%BE%D1%81%D0%BC%D0%BE%D1%81%20%28192kbps%29.mp3
    # https://cdn3.sefon.pro/files/prev/193/Delaney%20Jane%20-%20Want%20You%20Now%20%28192kbps%29.mp3
    # https://cdn8.sefon.pro/files/prev/193/%D0%9B%D0%B5%D0%B2%D0%B0%D0%BD%20%D0%93%D0%BE%D1%80%D0%BE%D0%B7%D0%B8%D1%8F%20-%20%D0%9F%D0%B0%D1%80%D0%BA%20%D0%93%D0%BE%D1%80%D1%8C%D0%BA%D0%BE%D0%B3%D0%BE%20%28192kbps%29.mp3
    # https://cdn6.sefon.pro/files/prev/193/Carlie%20Hanson%20-%20Good%20Enough%20%28192kbps%29.mp3

except:
    print(traceback.format_exc())

finally:
    driver.quit()

PPPS.

А еще можно использовать модуль requests-html, чтобы категорично сократить количество кода (он внутри себя использует selenium):

# pip install requests-html
from requests_html import HTMLSession


session = HTMLSession()
rs = session.get('https://ru.sefon.cc/news/')
rs.html.render()  # Без этого не будет выполнения js кода

for a in rs.html.find('.mp3 > .btns > a[data-url]'):
    print(a.attrs['data-url'])

# https://cdn5.sefon.pro/files/prev/193/Sontry%20-%20%D0%94%D0%B8%D1%81%D0%B1%D0%B0%D0%BB%D0%B0%D0%BD%D1%81%20%28192kbps%29.mp3
# https://cdn5.sefon.pro/files/prev/193/Orlando%20-%20%D0%9D%D0%B5%20%D0%A1%D1%82%D0%B5%D1%81%D0%BD%D1%8F%D0%B9%D1%81%D1%8F%20%28192kbps%29.mp3
# https://cdn8.sefon.pro/files/prev/193/%D0%A1%D0%B0%D1%88%D0%B0%20%D0%94%D0%B6%D0%B0%D0%B7%20-%20%D0%9F%D1%8C%D1%8F%D0%BD%D1%8B%D0%B9%20%D0%9F%D0%BE%20%D0%94%D0%B2%D0%BE%D1%80%D0%B0%D0%BC%20%28192kbps%29.mp3
# https://cdn1.sefon.pro/files/prev/193/%D0%9E%D0%BA%D1%81%D0%B0%D0%BD%D0%B0%20%D0%9A%D0%BE%D0%B2%D0%B0%D0%BB%D0%B5%D0%B2%D1%81%D0%BA%D0%B0%D1%8F%20%26%20Andery%20Toronto%20-%20%D0%94%D0%B5%D0%B2%D0%BE%D1%87%D0%BA%D0%B0%20%D0%9D%D0%B5%20%D0%9F%D0%BB%D0%B0%D1%87%D1%8C%20%28192kbps%29.mp3
# https://cdn2.sefon.pro/files/prev/193/%D0%9F%D0%B0%D1%88%D0%B0%20Proorok%20-%20%D0%9A%20%D0%9D%D0%B5%D0%B1%D0%B5%D1%81%D0%B0%D0%BC%20%28192kbps%29.mp3
# ...
# https://cdn5.sefon.pro/files/prev/193/%D0%90%D1%80%D0%B8%D1%82%D0%BC%D0%B8%D1%8F%20feat.%20Lazy%20Cat%20-%20%D0%9A%D0%BE%D1%81%D0%BC%D0%BE%D1%81%20%28192kbps%29.mp3
# https://cdn3.sefon.pro/files/prev/193/Delaney%20Jane%20-%20Want%20You%20Now%20%28192kbps%29.mp3
# https://cdn8.sefon.pro/files/prev/193/%D0%9B%D0%B5%D0%B2%D0%B0%D0%BD%20%D0%93%D0%BE%D1%80%D0%BE%D0%B7%D0%B8%D1%8F%20-%20%D0%9F%D0%B0%D1%80%D0%BA%20%D0%93%D0%BE%D1%80%D1%8C%D0%BA%D0%BE%D0%B3%D0%BE%20%28192kbps%29.mp3
# https://cdn6.sefon.pro/files/prev/193/Carlie%20Hanson%20-%20Good%20Enough%20%28192kbps%29.mp3
4
  • Спасибо за ответ от мне помог, почти. После вывода ссылок выводит ошибка: 'OSError: Unable to remove Temporary User Data'. С чем это связано? Я использовал модуль requests_html 24 авг 2020 в 18:29
  • Всё разобрался добавил session.close() и все заработало. 24 авг 2020 в 18:34
  • @GeekTarget, пожалуйста :)
    – gil9red
    25 авг 2020 в 3:38
  • Прям какая-то таска по CTF :) 15 сен 2020 в 5:07

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.