2

Есть тяжелый и длительный скрипт, его задача заключается в том чтобы просматривать некоторые данные из бд и копировать их другим записям в бд. Я хочу его запустить через браузер, т.е. через веб-сервер открывая определенную ссылку, в самом скрипте конечно будут следующие правила: ignore_user_abort(true); set_time_limit(0);. Сейчас при его запуске падает весь сайт, возвращает ошибку 522, видимо из-за того что сервер перегружен, при этом падает и сам скрипт. Ранее данный скрипт выдавал ошибку о том что превышен лимит памяти, более 1024MB, но после того как я его оптимизировал и разбил обработку по частям такая ошибка исчезла.

Так вот, как можно сделать так чтобы данный скрипт работал в фоне (например на его работу потребуется около 20 часов) и все остальные страницы сайта открывались в обычном режиме, с некой потерей в скорости загрузки во время выполнения этого скрипта?

P.S. Тех поддержка хостинга посоветовала оптимизировать скрипт, но ведь лимит памяти уже не исчерпывается, и в чем дело непонятно.

P.S.S. Запускать скрипт через консоль не представляется возможным, т.к. скрипт открывается по ЧПУ и обрабатывается routing-ом Symfony.

4
  • Как вариант - мастер-скрипт с curl_multi_init и N-дцать скриптов воркеров, каждый из которых обрабатывает часть данных. Но! Мне очень сложно придумать такую задачу, которая работает с "некоторыми" данными и выполняется за 20 часов. Хостинг правильно вам говорит - оптимизируйте скрипт. Заодно, может быть, стоит индексов в БД посоздавать
    – rjhdby
    29 дек 2018 в 8:39
  • вы уверены, что задачу не решить чистыми средствами sql? сдается мне, вы там выбираете селектом кучу строк, потом фильтрутете, и на основании их обновляете/добавляете еще кучу строк в базу. Нужен ли вам в этой задаче вообще пхп?
    – teran
    29 дек 2018 в 8:39
  • Да, php нужен. Там еще данные с файла excel берутся.
    – Shillkas
    29 дек 2018 в 9:01
  • А что подразумевается под словом оптимизировать от хостинга, это значит что нужно скрипт сделать более легким (разбить на несколько частей), но по времени если разбить это все на несколько частей будет дольше?
    – Shillkas
    29 дек 2018 в 10:43

1 ответ 1

1

Вы можете реализовывать задачу через сервис сообщений, например, RabbitMQ. Для этого нужно установить сам RabbitMQ, пакетphp7.0-bcmath для библиотеки php-amqplib (sudo apt-get install php7.0-bcmath). Для Symfony есть пакет RabbitMqBundle (composer require php-amqplib/rabbitmq-bundle), который под копотом использует php-amqplib.

Затем нужно зарегистрировать бандл в AppKernal и добавить конфиги:

// app/AppKernel.php

public function registerBundles()
{
    $bundles = array(
        new OldSound\RabbitMqBundle\OldSoundRabbitMqBundle(),
    );
}

Добавляем конфиги в config.yml ( Полный пример конфигурации можно посмотреть тут). Добавим подключение + настройки реббита:

old_sound_rabbit_mq:
    connections:
        default:
            host:     'localhost'
            port:     5672
            user:     'guest'
            password: 'guest'
            vhost:    '/'
            lazy:     false
            connection_timeout: 3
            read_write_timeout: 3
            keepalive: false
            heartbeat: 0
            use_socket: true

По умолчанию RabbitMQ работает на порту 5672. Так же задаем хост, логин и пароль. По остальным настройкам можно прочитать по ссылке выше.

Producer и Consumer.

Если коротко, то Producer - это процесс отправки в очередь сообщения, Consumer - процесс получающий и обрабатывающий эти сообщения.

Добавляем produces и consumers в конфиг для обрабортки запроса, назовем его processing_request (как это органично смотрится смотрите полный конфиг по сылке выше).

producers:
    processing_request:
        connection:       default
        exchange_options: {name: 'processing_request', type: direct}

consumers:
    processing_request:
        connection:       default
        exchange_options: {name: 'processing_request', type: direct}
        queue_options:    {name: 'processing_request'}
        callback:         processing_request_service

Добавляем consumer-сервис для обработки сообщений:

use OldSound\RabbitMqBundle\RabbitMq\ConsumerInterface;
use PhpAmqpLib\Message\AMQPMessage;

class ProcessingRequestConsumer implements ConsumerInterface
{
    public function execute(AMQPMessage $msg)
    {
        //фоновый скрипт
        ... 
    }
}

Привязываем очередь к Consumer и говорим, что бы он ждал сообщение, делаем это через терминал (если добавить & к скирпту, то можно запустить в фоне).

./app/console rabbitmq:consumer processing_request -vvv &

Теперь поставим в очередь обрабоку запроса. Допустим, у вас есть некий контроллер, в котором нужно запустить обработку.

public function indexAction()
{
    $this->get('old_sound_rabbit_mq.processing_request_producer')->publish('Processing Request...');
    ...
    return $this->json(array('result' => 'success'));
}

Готово, вызывая экшн контроллера, добавляется в очередь обработчик запросов.

0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.