2

Есть консольное приложение - заполняет таблицу на основании данных из другой таблицы. Берется выборка 1000 записей, в цикле формирую строку для вставки batchInsert, вставляю. Следующий кусок и так далее. Вопрос: каждая следующая итерация по времени выполняется дольше. Время все время растет. Все переменные через unset в цикле очищаются. Логирование отключил. Думаю что то "жрет" память. Размер "куска" изменял, не принципиально. Все равно чем дольше работает скрипт, тем увеличивается время итерации. Данные для обработки в принципе одинаковые (по объему). В какую сторону еще посмотреть?

6
  • Делайте insert не одной записи, а многих. Я когда-то исследовал эту тему. Сделайте 2 инсерта по 500 записей, и все будет молниеносно, если нет доп. логики из-за которой нужно делать только одиночные вставки 6 авг 2019 в 9:21
  • batchInsert это и есть пакетная вставка. Вставляется весь "кусок", в цикле формируется массив для вставки. В конце вставляется. 6 авг 2019 в 9:26
  • Это косяк Yii2. Не помню точно подробностей, но как-то заливали много строк, тоже резали пачками по 300к, и с каждой итерацией время увеличивалось и память росла. В итоге скрипт рано или поздно отваливался по памяти. Если изучить работу batchInsert, то там будет видно, почему так происходит. Это было на 2.0.15 версии. 6 авг 2019 в 9:45
  • 2
    Спасибо @fedornabilkin Именно batchInsert решение: stackoverflow.com/questions/27420959/… 6 авг 2019 в 10:48
  • Добавь ответ, я его в избранное добавлю. Пусть на русском тоже будет свой вариант, как победить batchInsert. 6 авг 2019 в 12:26

1 ответ 1

3

Класс в common/components

<?php
namespace common\components;
use yii\log\Logger;
class EmptyLogger extends Logger
{
    public function log($message, $level, $category = 'application')
    {
        return false;
    }
}

В консольном контроллере, подключаем класс, инициализируем:

<?php
namespace console\controllers;
use common\components\EmptyLogger;
use Yii;
use yii\console\Controller;
class TempController extends Controller
{
    public function actionIndex()
    {
        Yii::setLogger(new EmptyLogger());
        ...

        Yii::$app->db->createCommand()
            ->batchInsert(static::tableName(), $columns, $rows)
            ->execute();
        ...
    }
}

Мы отключили логгер. Проблема в том что данные запроса сохраняются для логгера и передаются в диспетчер согласно настройкам, по достижению размера например. Так как скрипт большой (таблица большая) и к логам не обращаемся, то данные просто висят в памяти. Причем отключить логирование не помогает. Может это не совсем правильно, но если мне нужно формировать таблицу не чистым sql, то это вариант.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.