0

Разрабатываю сервис и тестирую через postman.

Есть очередь.

Которая обрабатывает данные, как выглядит к примеру.

 Controller call JobCalc.

JobCalc{
 while($condition){
  body code;
  }
 call function statistics($parameter);
 call new JOB
 }

Когда обрабатывает данные с 1000 строк. Все отрабатывает хорошо, передавая параметры в следующий JOB, и все заканчивается успехом.

Когда данные приходят в 15000 строк. В цикле все отрабатывается, но дольше джоб и функция не вызывается.

В логах и в базе в таблице failed_jobs ничего нету.

В php.ini увеличил память до 1024 мб,так же время выполнения скрипта,без результатно. Уже не знаю куда смотреть.

Вставлял echo после вызова job в controller,что бы посмотреть идет ли дальше код после первого вызова job, все отрабатывает.

Код не кидаю,бо там около 1500 строк,структуру приблизительно описал.

1

1 ответ 1

2

Проблема была в памяти. Так как логику писал не я, а до меня, в код лезть было сложно.

While жрет память не очищает,решение было использовать

LazyCollection::make(function (){
    $fh = fopen($absolutePath, 'r');
    while ($record_data = fgetcsv($fh)) {
            yield $record_data;
        }
   })->chunk(500)->each(function ($items){
      foreach ($items as $item){  
         //logic
     }
   }

Это сократило обьем используемой памяти раза в 3-4. Все начало работать как и задумывалось.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.