1

При помощи DevTools в Chrome или Firefox заблокировать загрузку определённого скрипта легко, а вот как это сделать на Python в Selenium вопрос. Плагины использовать не могу (замедляют процесс), мне кажется, что раз в DevTools есть, значит и обычным кодом это можно реализовать. Гуглить пробовал, не помогло.

P.S.: скрипт у сайта тяжёлый и грузиться долго, плюс мне он для автоматизации процесса, вообще, не нужен

1
  • Можно установить расширение, которое блокирует загрузку скриптов. Тут на SO так предлагали для обхода выскакивания каптчи. 1 окт 2020 в 11:01

1 ответ 1

4

Есть два пути решения проблемы. Первое, что приходит в голову - это использование прокси, в которой вырезаются ненужные теги script.

На Node.js реализация выглядела бы так:

const http = require('http');
const https = require('https');

// По сути в реализации прокси у нас будет всего 4 параметра.   

// Локальный порт, на который вешаем прокси
const localProxyPort = 3000;
// Сервер, на который будут проксироваться запросы
const host = 'www.google.com';
// Регулярное выражение для поиска и последующей замены в HTML
const rxSearch = /<script src="[^\"]+"><\/script>/g;
// Шаблон замены, то есть на что будет заменяться найденые выражения
const rxReplace = '';

/* Для удобства подключения в качестве прокси используем http-сервер.
   Это позволит избежать заморочек с самописными сертификатами.
   При этом в качетве web-клиента безусловно используем https-клиент.

   Каждое обращение к хосту через прокси будет проходить через 4 этапа:

       [1] Запрос от клиента к прокси (incomeRequest)
       [2] Запрос от прокси к хосту   (outcomeRequest)
       [3] Ответ от хоста к прокси    (incomeResponse)
       [4] Ответ от прокси к клиенту  (outcomeResponse)


             ╲  http-      ╲             ╲  https-     ╲  
             ╱  запрос [1] ╱             ╱  запрос [2] ╱
    Клиент                     Прокси                      Сервер
             ╱  http-     ╱              ╱  https-    ╱
             ╲  ответ [4] ╲              ╲  ответ [3] ╲
 */

// Создаем http-сервер
http.createServer(
  /* Основное тело программы по традиции размещается в слушателе события "request" */ 
  function onRequest (incomeRequest, outcomeResponse) {
    // Поступил запрос от клиента [этап-1]
    // Из объекта запроса от клиента нас интересует информация: метод, URL и заголовки
    const port = 443,{ url: path, method, headers } = incomeRequest;
    // Удаляем заголовок Host
    delete headers['host'];
    // Посылаем запрос серверу [этап-2]
    let outcomeRequest = https.request({host,port,path,method,headers});
    // Вешаем на запрос к серверу слушателя на событие response
    outcomeRequest.on('response', function onResponse(incomeResponse) { 
      // Поступил ответ от сервера к прокси [этап-3]
      // Из объекта ответа сервера нас интересует только: код статуса и заголовки                   
      let {statusCode,headers} = incomeResponse;
      // Если в качестве успешного ответа пришла HTML-страница
      if(statusCode == 200 && headers['content-type'] == 'text/html'){
        // Сюда будем сохранять код страницы
        let requestedHTML='';
        // Собираем код страницы по кусочкам
        incomeResponse.on('data', chunk => requestedHTML += chunk);
        // По окончанию экзекуции
        incomeResponse.on('end', function () {
          // заменяем в коде страницы регулярное выражение на шаблон замены
          requestedHTML = requestedHTML.replace(rxSearch,rxReplace);
          // Обновляем заголовок Content-Length
          // Почему Buffer.from(requestedHTML).length вместо requestedHTML.length ?
          //  - requestedHTML.length отдает длину строки в символах, 
          //    а Buffer.length - в байтах.
          headers['content-length'] = Buffer.from(requestedHTML).length;
          // Высылаем ответ от прокси к клиенту [этап-4]
          outcomeResponse.writeHead(statusCode,headers);
          outcomeResponse.end(requestedHTML);
        });
        // Выходим, тут наша миссия выполнена
        return;
      }
      // Если в качестве ответа сервер скомандовал редирект,
      if(headers['location']){
        // чтобы этот редирект не увел нашего клиента к себе минуя нашу прокси,
        // необходимо вырезать из URL редиректа адрес сервера.
        // Ну а клиент подставит адрес прокси по теории относительности URL.
        headers['location'] = headers['location'].replace('https://'+host,'');
      }
      // Посылаем ответ клиенту [этап-4]
      outcomeResponse.writeHead(statusCode,headers);
      // Направляем входящий поток ответа от сервера 
      // в исходящий поток ответа клиенту напрямую без обработки.
      incomeResponse.pipe(outcomeResponse, { end:true });
    });
    // Направляем входящий поток тела запроса от клиента
    // в исходящий поток тела запроса к серверу напрямую без обработки.
    // ( Это необходимо для работы методов POST и PUT )
    incomeRequest.pipe(outcomeRequest, { end: true });
  }
  /* Сразу вешаем наш прокси на локальный порт */
).listen(localProxyPort);

Проверяем.

proxy example test

Либо можно внедрить обработку скриптов через пользовательские скрипты:

// ==UserScript==
// @name           script replacer
// @version        0.0.1
// @namespace      [email protected]
// @include        http://*
// @run-at         document-start
// ==/UserScript==

// Счетчик изменений
let changed = 0;

// Вешаем своего слушателя на событие beforescriptexecute
window.addEventListener('beforescriptexecute', 
  function beforeExecuteHandler (e) => {
    // Событие будет объявляться перед выполнением каждого скрипта на странице.

    // Извлекаем адрес скрипта.
    const { src } = e.target;

    // Если адрес скрипта не пустой, значит скрипт внешний,
    // сравниваем его с URL-адресом ненужного скрипта
    if(src && src.search(/bad\.js/) != -1) {
      // Увеличиваем счетчик
      changed++;
      // Запрещаем выполнение ненужного скрипта
      e.preventDefault();
        e.stopPropagation();
      // Здесь можно выполнить какой-нибудь код вместо ненужного скрипта
      //  . . .
      append(newScript);
    }

    // Для локальных inline-скриптов
    else if(e.target===document.querySelector("script:nth-child(0)")){
      // Увеличиваем счетчик
      changed++;
      // Запрещаем выполнение ненужного скрипта
      e.preventDefault();
      e.stopPropagation();
      // Здесь можно выполнить какой-нибудь код вместо ненужного скрипта
      //  . . .
    }
    
    // Для локальных inline-скриптов нежелательный код также можно заменить 
    //   внутри e.target.innerHTML регулярным выражением, 
    //   если код имеет плавающую позицию.


    // Если весь ненужный код вырезан,
    if(changed == 2) {
      // текущий слушатель можно удалить, чтобы не мешать выполнению 
      // других скриптов
      window.removeEventListener(e.type, beforeExecuteHandler, true);
    }
}, true);

// Примитивная функция вставки нового кода в конец тега <head>
function append(scriptCode) {    
  document.head.appendChild(document.createElement('script'))
    .innerHTML = scriptCode.toString().replace(/^function.*{|}$/g, '');
}

// Пример функции для вставки и, соответственно, выполнения кода
//   вместо ненужного кода
function newScript(){
  // Объявленные здесь функции и переменные будут доступны 
  //   в глобальном пространстве имён.
  function loadGoodStuff(){
    /* . . . модифицированный вид вырезанного кода . . . */
  }
};
7
  • Я теряю время на загрузке этого скрипта, а не на его исполнении, во-первых, если будет исполняться, то мне это не помешает, во-вторых, если не дать ему загрузиться, то он и не выполниться, логично) 1 окт 2020 в 6:07
  • Странно, что в devtools это сделать крайне просто, а найти хотя бы инфу в интернете как это сделать на python + selenium, вообще, тяжко, ничего не нашёл (возможно, это я не нашёл, но искал долго) 1 окт 2020 в 6:10
  • 3
    Тогда имеет смысл поднять локальную http прокси. Транслирующую все запросы, но вырезая нужный тег script из html-ответов. Если вопрос лишь в загрузке скрипта, это точно сэкономит расход трафика, но безусловно будет требовать дополнительные ресурсы процессора и памяти.
    – DiD
    1 окт 2020 в 6:14
  • Так тебе и говорят чтобы ты прокси снифающий сделал и через него убирал ненужное. Можно попробовать seleniumwire. Это как раз такая реализация.
    – alex
    1 окт 2020 в 6:18
  • 2
    @Quadra, Выделяемыми ресурсами памяти можно пренебречь. Самые затратные ресурсы процессора, скорее всего, на поиске регулярного выражения в строке с html. Выигрыш по времени - сказать сложно. Это как делить ноль на ноль. С одной стороны получим ноль, с другой - бесконечность. Что будет быстрее: поиск/замена регулярки в строке или загрузка того JavaScript-кода? Предполагаю, поиск/замена будет эффективнее загрузки, но на это влияет слишком много факторов. Однозначного ответа нет.
    – DiD
    1 окт 2020 в 15:23

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.