0

При получении странички я получаю такой текст:

 
 
            <html lang="ru">
                <head>
                    <meta charset="utf-8">
                        <meta http-equiv="X-UA-Compatible" content="IE=edge">
                            <meta name="viewport" content="width=device-width,initial-scale=1.0">
                                <title>Игровой магазин</title>
                                <style>@import url("https://fonts.googleapis.com/css?family=Roboto&display=swap"); body{background: #0b0c0e; color: #b9bdc6; font-family: "Roboto", sans-serif; font-size: 16px}a{color: #69f; text-decoration: none}.verification{position: absolute; top: 50%; left: 50%; transform: translate(-50%, -50%); text-align: center}.verification__title{margin-bottom: .25rem; font-size: 2rem}.verification__text{font-size: 1.25rem}.copyright{position: absolute; bottom: 0; left: 0; padding: .5rem .75rem; border-top-right-radius: .25rem; background: #111215}</style>
                            </head>
                            <body>
                                <div class="verification">
                                    <div class="verification__title">Пожалуйста, подождите.</div>
                                    <div class="verification__text">Идет проверка вашего браузера</div>
                                </div>
                                <div class="copyright">Сайт создан в системе 
                                    <a href="//my.moscow.ovh" target="_blank" rel="noreferrer noopener">Moscow.OVH</a>
                                </div>
                                <script type="text/javascript" src="/aes.js"></script>
                                <script>function toNumbers(d){var e=[]; d.replace(/(..)/g, function (d){e.push(parseInt(d, 16))}); return e}function toHex(){for (var d=[], d=1==arguments.length && arguments[0].constructor==Array ? arguments[0] : arguments, e="", f=0; f < d.length; f++) e +=(16 > d[f] ? "0" : "") + d[f].toString(16); return e.toLowerCase()}function iudh2912983(){location.href="/cookies.html?backurl=http://shop.magic-rust.ru/api/index.php?modules=items&action=purchaseItem&id=6308&type=4&try=3";}var a=toNumbers("cd36b76f96b103402924bd5f76d3c111"), b=toNumbers("680eb6a492f48ea1b342aea7b79e1c63"), c=toNumbers("66e0d95635600108cb52278182288c1c");document.cookie="stmcn=" + 1 + "; expires=Thu, 31-Dec-37 23:55:55 GMT; path=/";setTimeout(iudh2912983, 3000);
                                </script>
                            </body>
                        </html>

Это говорит мне о том что не прошла проверка браузера, вроде она длиться определенное кол-во секунд, но в итоге я не получаю исходную страницу, вопрос как это можно обойти?

from seleniumwire import webdriver

import os
import time
import json

#===================================================================#
chrome_options = webdriver.ChromeOptions()
chrome_options.binary_location = os.environ.get("GOOGLE_CHROME_BIN")
chrome_options.add_argument("--headless")
chrome_options.add_argument("--disable-dev-shm-usage")
chrome_options.add_argument("--no-sandbox")
chrome_options.add_argument("--disable-gpu")
chrome_options.add_argument("--window-size=1920x1080")
#===================================================================#

br = webdriver.Chrome(executable_path=os.environ.get("CHROMEDRIVER_PATH"), options=chrome_options)

def interceptor(request):
    del request.headers['Cookie']
    del request.headers['Host']
    del request.headers['User-Agent']

    request.headers['Cookie'] = '_lr_uf_-xnoogq=fa845c27-e6da-43eb-a3dd-b2d02ac950d6'
    request.headers['Host'] = 'some-site.ru'
    request.headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'

br.request_interceptor = interceptor

magic_product = [1025627, 6308]

while True:
    for product in magic_product:
        br.get(f"https://some-site/buy/{product}")
        time.sleep(10)

        html = br.page_source
        time.sleep(2)
        try:
            print(json.loads(str(html.split("<body>")[1].split("</body>")[0])) + f" #ID{product}")
        except json.decoder.JSONDecodeError:
            print(html)

    time.sleep(18000)
7
  • Оно ведь должно само выполниться. По-моему, там тот js-код через 3 секунды должен выполнить какую-то функцию (вангую, что установит куки и сделает переход на страницу сайта, а имея куки сервер вернет нормальную страницу)
    – gil9red
    26 янв 2021 в 14:31
  • @gil9red но почему я получаю все ту же страничку с js, хотя слип установлен в 10 сек
    – Lumo
    26 янв 2021 в 14:36
  • Включите отображение браузера и посмотрите что происходит на странице при работе с нею. С chrome_options.add_argument("--headless") сложно будет полноценно наблюдать за парсером
    – gil9red
    26 янв 2021 в 15:06
  • @gil9red, дело в том что скрипт работает на heroku, и такой возможности нет, но при тесте на windows все грузит нормально
    – Lumo
    26 янв 2021 в 15:08
  • А, хероку... недавно тут у одного с хероку парсер блокировался, возможно сайт проверяет ip и отклоняет те, что с хероку. Еще я натыкался на вариант опции --disable-blink-features=AutomationControlled из коммента к ответу: ru.stackoverflow.com/a/1231002/201445
    – gil9red
    26 янв 2021 в 15:09

1 ответ 1

0

Как оказалось, проблема была в самом интерцепторе, а именно браузерный код не выполнялся дальше из за структуры Cookie хеадера.

Нам нужно проанализировать существующие файлы cookie, заменить только тот файл cookie, который нас интересует, а затем вернуть их в запрос.

Собственно данный код показывает пример использования и решает проблему.

from http import cookies


def intercept(request):
    cookie = cookies.SimpleCookie()
    cookie.load(request.headers['Cookie'] or '')
    cookie['_lr_uf_-xnoogq'] = 'fa845c27-e6da-43eb-a3dd-b2d02ac950d6'

    del request.headers['Cookie']
    request.headers['Cookie'] = '; '.join(f'{k}={v.value}' for k, v in cookie.items())

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.