1

При помощи DevTools в Chrome или Firefox заблокировать загрузку определённого скрипта легко, а вот как это сделать на Python в Selenium вопрос. Плагины использовать не могу (замедляют процесс), мне кажется, что раз в DevTools есть, значит и обычным кодом это можно реализовать. Гуглить пробовал, не помогло.

P.S.: скрипт у сайта тяжёлый и грузиться долго, плюс мне он для автоматизации процесса, вообще, не нужен

1
  • Можно установить расширение, которое блокирует загрузку скриптов. Тут на SO так предлагали для обхода выскакивания каптчи. 1 окт 2020 в 11:01

1 ответ 1

4

Есть два пути решения проблемы. Первое, что приходит в голову - это использование прокси, в которой вырезаются ненужные теги script.

На Node.js реализация выглядела бы так:

const http = require('http');
const https = require('https');

// По сути в реализации прокси у нас будет всего 4 параметра.   

// Локальный порт, на который вешаем прокси
const localProxyPort = 3000;
// Сервер, на который будут проксироваться запросы
const host = 'www.google.com';
// Регулярное выражение для поиска и последующей замены в HTML
const rxSearch = /<script src="[^\"]+"><\/script>/g;
// Шаблон замены, то есть на что будет заменяться найденые выражения
const rxReplace = '';

/* Для удобства подключения в качестве прокси используем http-сервер.
   Это позволит избежать заморочек с самописными сертификатами.
   При этом в качетве web-клиента безусловно используем https-клиент.

   Каждое обращение к хосту через прокси будет проходить через 4 этапа:

       [1] Запрос от клиента к прокси (incomeRequest)
       [2] Запрос от прокси к хосту   (outcomeRequest)
       [3] Ответ от хоста к прокси    (incomeResponse)
       [4] Ответ от прокси к клиенту  (outcomeResponse)


             ╲  http-      ╲             ╲  https-     ╲  
             ╱  запрос [1] ╱             ╱  запрос [2] ╱
    Клиент                     Прокси                      Сервер
             ╱  http-     ╱              ╱  https-    ╱
             ╲  ответ [4] ╲              ╲  ответ [3] ╲
 */

// Создаем http-сервер
http.createServer(
  /* Основное тело программы по традиции размещается в слушателе события "request" */ 
  function onRequest (incomeRequest, outcomeResponse) {
    // Поступил запрос от клиента [этап-1]
    // Из объекта запроса от клиента нас интересует информация: метод, URL и заголовки
    const port = 443,{ url: path, method, headers } = incomeRequest;
    // Удаляем заголовок Host
    delete headers['host'];
    // Посылаем запрос серверу [этап-2]
    let outcomeRequest = https.request({host,port,path,method,headers});
    // Вешаем на запрос к серверу слушателя на событие response
    outcomeRequest.on('response', function onResponse(incomeResponse) { 
      // Поступил ответ от сервера к прокси [этап-3]
      // Из объекта ответа сервера нас интересует только: код статуса и заголовки                   
      let {statusCode,headers} = incomeResponse;
      // Если в качестве успешного ответа пришла HTML-страница
      if(statusCode == 200 && headers['content-type'] == 'text/html'){
        // Сюда будем сохранять код страницы
        let requestedHTML='';
        // Собираем код страницы по кусочкам
        incomeResponse.on('data', chunk => requestedHTML += chunk);
        // По окончанию экзекуции
        incomeResponse.on('end', function () {
          // заменяем в коде страницы регулярное выражение на шаблон замены
          requestedHTML = requestedHTML.replace(rxSearch,rxReplace);
          // Обновляем заголовок Content-Length
          // Почему Buffer.from(requestedHTML).length вместо requestedHTML.length ?
          //  - requestedHTML.length отдает длину строки в символах, 
          //    а Buffer.length - в байтах.
          headers['content-length'] = Buffer.from(requestedHTML).length;
          // Высылаем ответ от прокси к клиенту [этап-4]
          outcomeResponse.writeHead(statusCode,headers);
          outcomeResponse.end(requestedHTML);
        });
        // Выходим, тут наша миссия выполнена
        return;
      }
      // Если в качестве ответа сервер скомандовал редирект,
      if(headers['location']){
        // чтобы этот редирект не увел нашего клиента к себе минуя нашу прокси,
        // необходимо вырезать из URL редиректа адрес сервера.
        // Ну а клиент подставит адрес прокси по теории относительности URL.
        headers['location'] = headers['location'].replace('https://'+host,'');
      }
      // Посылаем ответ клиенту [этап-4]
      outcomeResponse.writeHead(statusCode,headers);
      // Направляем входящий поток ответа от сервера 
      // в исходящий поток ответа клиенту напрямую без обработки.
      incomeResponse.pipe(outcomeResponse, { end:true });
    });
    // Направляем входящий поток тела запроса от клиента
    // в исходящий поток тела запроса к серверу напрямую без обработки.
    // ( Это необходимо для работы методов POST и PUT )
    incomeRequest.pipe(outcomeRequest, { end: true });
  }
  /* Сразу вешаем наш прокси на локальный порт */
).listen(localProxyPort);

Проверяем.

proxy example test

Либо можно внедрить обработку скриптов через пользовательские скрипты:

// ==UserScript==
// @name           script replacer
// @version        0.0.1
// @namespace      [email protected]
// @include        http://*
// @run-at         document-start
// ==/UserScript==

// Счетчик изменений
let changed = 0;

// Вешаем своего слушателя на событие beforescriptexecute
window.addEventListener('beforescriptexecute', 
  function beforeExecuteHandler (e) => {
    // Событие будет объявляться перед выполнением каждого скрипта на странице.

    // Извлекаем адрес скрипта.
    const { src } = e.target;

    // Если адрес скрипта не пустой, значит скрипт внешний,
    // сравниваем его с URL-адресом ненужного скрипта
    if(src && src.search(/bad\.js/) != -1) {
      // Увеличиваем счетчик
      changed++;
      // Запрещаем выполнение ненужного скрипта
      e.preventDefault();
        e.stopPropagation();
      // Здесь можно выполнить какой-нибудь код вместо ненужного скрипта
      //  . . .
      append(newScript);
    }

    // Для локальных inline-скриптов
    else if(e.target===document.querySelector("script:nth-child(0)")){
      // Увеличиваем счетчик
      changed++;
      // Запрещаем выполнение ненужного скрипта
      e.preventDefault();
      e.stopPropagation();
      // Здесь можно выполнить какой-нибудь код вместо ненужного скрипта
      //  . . .
    }
    
    // Для локальных inline-скриптов нежелательный код также можно заменить 
    //   внутри e.target.innerHTML регулярным выражением, 
    //   если код имеет плавающую позицию.


    // Если весь ненужный код вырезан,
    if(changed == 2) {
      // текущий слушатель можно удалить, чтобы не мешать выполнению 
      // других скриптов
      window.removeEventListener(e.type, beforeExecuteHandler, true);
    }
}, true);

// Примитивная функция вставки нового кода в конец тега <head>
function append(scriptCode) {    
  document.head.appendChild(document.createElement('script'))
    .innerHTML = scriptCode.toString().replace(/^function.*{|}$/g, '');
}

// Пример функции для вставки и, соответственно, выполнения кода
//   вместо ненужного кода
function newScript(){
  // Объявленные здесь функции и переменные будут доступны 
  //   в глобальном пространстве имён.
  function loadGoodStuff(){
    /* . . . модифицированный вид вырезанного кода . . . */
  }
};
7
  • Я теряю время на загрузке этого скрипта, а не на его исполнении, во-первых, если будет исполняться, то мне это не помешает, во-вторых, если не дать ему загрузиться, то он и не выполниться, логично) 1 окт 2020 в 6:07
  • Странно, что в devtools это сделать крайне просто, а найти хотя бы инфу в интернете как это сделать на python + selenium, вообще, тяжко, ничего не нашёл (возможно, это я не нашёл, но искал долго) 1 окт 2020 в 6:10
  • 3
    Тогда имеет смысл поднять локальную http прокси. Транслирующую все запросы, но вырезая нужный тег script из html-ответов. Если вопрос лишь в загрузке скрипта, это точно сэкономит расход трафика, но безусловно будет требовать дополнительные ресурсы процессора и памяти.
    – DiD
    1 окт 2020 в 6:14
  • Так тебе и говорят чтобы ты прокси снифающий сделал и через него убирал ненужное. Можно попробовать seleniumwire. Это как раз такая реализация.
    – alex
    1 окт 2020 в 6:18
  • 2
    @Quadra, Выделяемыми ресурсами памяти можно пренебречь. Самые затратные ресурсы процессора, скорее всего, на поиске регулярного выражения в строке с html. Выигрыш по времени - сказать сложно. Это как делить ноль на ноль. С одной стороны получим ноль, с другой - бесконечность. Что будет быстрее: поиск/замена регулярки в строке или загрузка того JavaScript-кода? Предполагаю, поиск/замена будет эффективнее загрузки, но на это влияет слишком много факторов. Однозначного ответа нет.
    – DiD
    1 окт 2020 в 15:23

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.