Есть консольное приложение - заполняет таблицу на основании данных из другой таблицы. Берется выборка 1000 записей, в цикле формирую строку для вставки batchInsert, вставляю. Следующий кусок и так далее. Вопрос: каждая следующая итерация по времени выполняется дольше. Время все время растет. Все переменные через unset в цикле очищаются. Логирование отключил. Думаю что то "жрет" память. Размер "куска" изменял, не принципиально. Все равно чем дольше работает скрипт, тем увеличивается время итерации. Данные для обработки в принципе одинаковые (по объему). В какую сторону еще посмотреть?
-
Делайте insert не одной записи, а многих. Я когда-то исследовал эту тему. Сделайте 2 инсерта по 500 записей, и все будет молниеносно, если нет доп. логики из-за которой нужно делать только одиночные вставки– adobrovolsky6 авг 2019 в 9:21
-
batchInsert это и есть пакетная вставка. Вставляется весь "кусок", в цикле формируется массив для вставки. В конце вставляется.– trollDemiurg6 авг 2019 в 9:26
-
Это косяк Yii2. Не помню точно подробностей, но как-то заливали много строк, тоже резали пачками по 300к, и с каждой итерацией время увеличивалось и память росла. В итоге скрипт рано или поздно отваливался по памяти. Если изучить работу batchInsert, то там будет видно, почему так происходит. Это было на 2.0.15 версии.– fedornabilkin6 авг 2019 в 9:45
-
2Спасибо @fedornabilkin Именно batchInsert решение: stackoverflow.com/questions/27420959/…– trollDemiurg6 авг 2019 в 10:48
-
Добавь ответ, я его в избранное добавлю. Пусть на русском тоже будет свой вариант, как победить batchInsert.– fedornabilkin6 авг 2019 в 12:26
1 ответ
Класс в common/components
<?php
namespace common\components;
use yii\log\Logger;
class EmptyLogger extends Logger
{
public function log($message, $level, $category = 'application')
{
return false;
}
}
В консольном контроллере, подключаем класс, инициализируем:
<?php
namespace console\controllers;
use common\components\EmptyLogger;
use Yii;
use yii\console\Controller;
class TempController extends Controller
{
public function actionIndex()
{
Yii::setLogger(new EmptyLogger());
...
Yii::$app->db->createCommand()
->batchInsert(static::tableName(), $columns, $rows)
->execute();
...
}
}
Мы отключили логгер. Проблема в том что данные запроса сохраняются для логгера и передаются в диспетчер согласно настройкам, по достижению размера например. Так как скрипт большой (таблица большая) и к логам не обращаемся, то данные просто висят в памяти. Причем отключить логирование не помогает. Может это не совсем правильно, но если мне нужно формировать таблицу не чистым sql, то это вариант.