0

Возникла проблема с обработкой большого объема данных построчно (файлы более 300мб). В определенный момент работа просто останавливается (даже не появляется ошибки 500 или иной другой). При этом всем работа заканчивается на случайной строке, выдавая на выходе разный объем данных в конечном файле.

Пример кода:

$file = 'file.json'; //Читаемый файл
$new_file = 'new_file.json'; //Новый файл
$json = fopen($file,'r'); 
file_put_contents($new_file, ''); //Очищаем новый файл, если там были какие-либо данные.
$i=0;
$ids = array();

while(!feof($json)){
  $line = fgets($json);
  $new_line = rtrim($line, ",\n");
  if(strlen($new_line)>42){
    $obj = json_decode($new_line,true);
    //Имя ячейки данных
    if(!is_null($obj['properties']['Код'])) {
      $name = stripslashes($obj['properties']['Название']);
      $key = $name.' '.$obj['properties']['Код']." ";
      if (in_array($obj['properties']['Код'] ,$ids)){
        $key = $key."(".$i.")";
      }
      array_push($ids, $obj['properties']['Код']);
    } else {
      $key = $i;
    }
    //Новая строка как именованный массив
    $obj2[$key] = [
      "Название" => $name,
      "Код" => $obj['properties']['Код'],
      "geometry" => $obj['geometry']['coordinates'][0]
    ];
    $new_line = json_encode($obj2,JSON_UNESCAPED_UNICODE | JSON_UNESCAPED_SLASHES).","; //приводим строку в нужный вид
    file_put_contents($new_file, $new_line.PHP_EOL, FILE_APPEND); //Записываем строку в конец нового файла
    $i++;
    $obj2 = []; //очистка до нового цикла
  }
}

fclose($file);

Прописывал в конфиги, но результата не дало:

set_time_limit(0);
ini_set('max_execution_time', 0);
ini_set('max_input_time',-1);
4
  • перепишите скрипт так, что бы его можно было запускать с командной строки и скорее всего ошибка быстро себя проявит.
    – KoVadim
    5 мая 2019 в 17:23
  • На данный момент доступа к машине нет. Только к ftp и самому сайту.
    – SlyFox
    5 мая 2019 в 17:51
  • Может попробовать использовать генератор?
    – Plikard
    5 мая 2019 в 21:57
  • У вас скорее всего виртуальный хостинг и провайдер режет вас по времени выполнения или по времени занятия ресурсов без всяких ошибок. Грузить хостинг на дешевых тарифах вам не позволят. 5 мая 2019 в 23:44

2 ответа 2

0

Может это поможет Открываем искомый файл

 $f=fopen ($filename, 'r');
    while (!feof ($f)) {
// Читаем килобайтный блок, отдаем его в вывод и сбрасываем в буфер
      echo fread ($f, 1024);
      flush ();
    }
2
  • При использовании такой структуры json_decode почему-то перестает нормально работать и все последующие манипуляции выдают null значения "1":{"Название":null,"Код":null,"geometry":null} P.S. Аналогично и при увеличении буфера до 8192
    – SlyFox
    5 мая 2019 в 18:20
  • habr.com/ru/post/345024 глянь тут
    – Rezzsooo
    5 мая 2019 в 18:26
0

Вы упираетесь в ограничения памяти, выделенной для работы PHP. Вам может помочь ini_set('memory_limit','512M');

Цифра подбирается экспериментально.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.