1

В модуле CSV Импорта производиться чтение с CSV файла, и последующие операции вставки/обновления в БД. Файлы csv могут быть большими, от нескольких десятков до нескольких сотен тысяч строк. Соответственно вопрос. Чем лучше осуществлять вставку/обновление большого количества записей, DAO или AR? Или можно не бояться, AR нормально потянет?

1
  • Используйте самый простой вариант и решайте проблему только в случае если реально столкнетесь с проблемами с производительностью. 18 фев 2016 в 16:11

1 ответ 1

0

Если файлы оочень большие и вставить нужно ооочень быстро , то можно использовать LOAD DATA LOCAL INFILE

Пример метода заливающего определенный файл с определенным кол-вом полей :

    /**
     * Залить CSV в базу
     * 
     * @param str $table таблица куда льем
     * @param array $fields массив затрагиваемых полей
     * @param type $dataFile путь до файла CSV
     */
    public function loadDataInFile($table, array $fields, $dataFile, $separator = ",")
    {
        $sql = "LOAD DATA LOCAL INFILE '$dataFile' IGNORE "
                . "INTO TABLE $table "
                . "FIELDS TERMINATED BY '$separator' "
                . "LINES TERMINATED BY '\n' "
                . "(" . implode(",", $fields) . ")";

        $count = $this->d->exec($sql);
        return $count;
    }

данный метод зальет CSV в базу игнорируя дубли , есть некоторая заморочка с типами таблиц , но они все описаны в документации . Может возникнуть ситуация при которой нужно обновить поля , тут тоже есть свой метод принцип таков : в таблицу TMP используя выше описаный метод льем данные как есть , затем из нее обновляем данные требуемой таблицы :

/**
 * Обновить данные документов из данных временной таблицы , очистить временную таблицу
 * 
 * @param str $targetTable куда льем
 * @param str $temporaryTable откуда льем
 * @param array $fields поля для обновления
 * @return sql-expr array
 */
static function updateDocData($targetTable, $temporaryTable, array $fields)
{
    $updateFields = array_keys(array_filter($fields));
    //Залить обновленные данные
    $sql[] = "INSERT INTO $targetTable
              SELECT * FROM $temporaryTable
              ON DUPLICATE KEY UPDATE " .
              array_reduce($updateFields, function($carry, $key){
                  return ($carry ? $carry . "," : "") . $key . " = VALUES($key) ";
              });
    //очистить временную таблицу
    $sql[] = "TRUNCATE `doc_data_temp`;";

    return $sql;
}

Метод вернет массив из sql выражений и так как данные большие и возможно нужно четко поддерживать целостность операции , так же возможно что таблиц для обновления много можно завернуть это все в транзакцию , примерно так :

    /**
     * Выполнить транзакцию из разнотипных наборов sql
     */
    public function queryTransaction(array $sql)
    {
        $stmt = $this->d;
        $stmt->beginTransaction();
        array_walk($sql, function($query) use ($stmt) {
            $stmt->query($query);
        });
        $stmt->commit();
    }

Все это будет работать быстро , но конечно лучше это все не отдавать клиенту , а юзать в бэке cli .

1
  • Отлично, старина!
    – Rell-x
    20 фев 2016 в 6:50

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.