Возникла проблема с обработкой большого объема данных построчно (файлы более 300мб). В определенный момент работа просто останавливается (даже не появляется ошибки 500 или иной другой). При этом всем работа заканчивается на случайной строке, выдавая на выходе разный объем данных в конечном файле.
Пример кода:
$file = 'file.json'; //Читаемый файл
$new_file = 'new_file.json'; //Новый файл
$json = fopen($file,'r');
file_put_contents($new_file, ''); //Очищаем новый файл, если там были какие-либо данные.
$i=0;
$ids = array();
while(!feof($json)){
$line = fgets($json);
$new_line = rtrim($line, ",\n");
if(strlen($new_line)>42){
$obj = json_decode($new_line,true);
//Имя ячейки данных
if(!is_null($obj['properties']['Код'])) {
$name = stripslashes($obj['properties']['Название']);
$key = $name.' '.$obj['properties']['Код']." ";
if (in_array($obj['properties']['Код'] ,$ids)){
$key = $key."(".$i.")";
}
array_push($ids, $obj['properties']['Код']);
} else {
$key = $i;
}
//Новая строка как именованный массив
$obj2[$key] = [
"Название" => $name,
"Код" => $obj['properties']['Код'],
"geometry" => $obj['geometry']['coordinates'][0]
];
$new_line = json_encode($obj2,JSON_UNESCAPED_UNICODE | JSON_UNESCAPED_SLASHES).","; //приводим строку в нужный вид
file_put_contents($new_file, $new_line.PHP_EOL, FILE_APPEND); //Записываем строку в конец нового файла
$i++;
$obj2 = []; //очистка до нового цикла
}
}
fclose($file);
Прописывал в конфиги, но результата не дало:
set_time_limit(0);
ini_set('max_execution_time', 0);
ini_set('max_input_time',-1);