1

Пытаюсь решить задачу по обработке большого csv файла (12194 строки) с товарами, читаю файл с помощью библиотеки parseCSV

В файле есть колонка "код модели", мне нужно пройтись по каждой строке и добавить рандомный префикс к коду модели, например: MODELCODE_PREF987 Для этого пишу такой код, используя методы библиотеки :

  <?php
    set_time_limit(0);
    require_once('parsecsv.lib.php');

    $fileCSV = 'file_pred.csv';

    $csv = new parseCSV();
    $csv->delimiter = "\t";
    $csv->parse($fileCSV);

    $count = count($csv->data);

    for($i = 0; $i<$count; $i++){
            $ID = $csv->data[$i]['Код модели'] . "_" . rand(0,1000);    
            $csv->data[$i]['Код модели'] = $ID;
            $csv->save(); 
    } 

Но скрипт зависает именно на модификации данных, если сделать просто вывод то все быстро отрабатывает. И скорее всего так и должно быть, в php только начинаю разбираться и поэтому мой код скорее всего не правильный. Прошу привести пример (дополнение к комментарию) метод записи файла

 protected function _wfile($file, $string = '', $mode = 'wb', $lock = 2) {
        if ($fp = fopen($file, $mode)) {
            flock($fp, $lock);
            $re = fwrite($fp, $string);
            $re2 = fclose($fp);

            if ($re != false && $re2 != false) {
                return true;
            }
        }

        return false;
    }

1 ответ 1

1

Попробуйте вынести $csv->save() из цикла for():

//...
for($i = 0; $i<$count; $i++){
    $ID = $csv->data[$i]['Код модели'] . "_" . rand(0,1000);    
    $csv->data[$i]['Код модели'] = $ID;
} 
$csv->save(); 

У вас получается, что после каждого изменения идет пересохранение файла, а достаточно сохранить файл один раз, в конце, после того как все изменения будут учтены. С этой библиотекой не работал, но посмотрел код библиотеки на гитхабе и думаю, что должно помочь.

6
  • Благодарю вас! Все заработало. 6 июн 2016 в 14:35
  • Заметил следующие, к примеру если файл весит 6 мб то после перезаписи он всегда становиться меньше и весит 4 мб. Даже если файл всего 1 мб то после перезаписи он становиться меньше. В чем может быть трабла? из зи используемой библиотеке ? 9 июн 2016 в 7:17
  • данные при этом не теряются? я повторюсь, что с этой библиотекой не работал 9 июн 2016 в 7:23
  • теряются, кол-во строк становиться меньше, запись производит вот этот метод: (дополню в ответ метод записи) может ли быть причина в fwrite ? пытался передать третий параметр этой функции filezesize($file) но нечего не меняться 9 июн 2016 в 7:36
  • на localhost все нормально работает, на боевом сервере нет, нужно значит какие - то настройки поменять ? 9 июн 2016 в 7:55

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.