0

Задача следующая - имеется большой CSV-файл, откуда берётся - не известно, но подозреваю, что выгрузка из 1с, и скормить его в sql-базу, далее выводить из него данные плагином WP. На текущий момент его размер чуть больше 2гб.

Сам файл разобрать не проблема, проблема встаёт в том, что стандартными средствами PHP это всё происходит а) долго, б) жрёт много памяти. Суммарно там чуть больше 3 миллионов строк.

Собственно, хотелось бы получить советов, как это дело лучше оптимизировать, что бы в один момент не уронить сайт на неопределенное время?

9
  • 1
    Так может из sql это делать? База какая? И ещё костыльный вариант: сконвертировать csv в sql-запросы.
    – Qwertiy
    22 сен 2021 в 12:25
  • многие движки баз данных умеют подгружать данные с cvs файла напрямую. Вряд ли на php сделаете быстрее. вот MySql так умеет stackoverflow.com/questions/3635166/…
    – KoVadim
    22 сен 2021 в 12:25
  • @Qwertiy, я бы с радостью, но запрос именно, что бы из админки сайта все данные влетали в базу.
    – DeadDed
    22 сен 2021 в 12:35
  • 1
    Ну так из админки обеспечь копирование файла в место, откуда он доступен для СУБД (если это необходимо), и выполни запрос на импорт. Чё дурью-то маяться и 2 гектара через клиентскую память прокачивать? Поди и так всё происходит в пределах одного инстанса ОС...
    – Akina
    22 сен 2021 в 12:36
  • ну так вопрос в загрузке самого файла из админки. а кто его обрабатывает, пхп или СУБД вроде дело другое?
    – teran
    22 сен 2021 в 12:36

1 ответ 1

1

Для оптимизации по памяти можно читать файл построчно и сохранять в базу каждую строку(или накапливая по 10/50/100 строк)

<?php

class CSVStreamReader
{
    /** @var resource */
    private $file;
    private string $separator;
    private string $enclosure;
    private string $escape;

    /**
     * @param resource $file
     * @param string $separator
     * @param string $enclosure
     * @param string $escape
     */
    public function __construct($file, string $separator = ",", string $enclosure = '"', string $escape = '\\')
    {
        $this->file = $file;
        $this->separator = $separator;
        $this->enclosure = $enclosure;
        $this->escape = $escape;
    }

    public function read(): Generator
    {
        while (false !== $row = fgets($this->file)) {
            yield str_getcsv($row, $this->separator, $this->enclosure, $this->escape);
        }
    }
}

$file = fopen('file.csv', 'rb');
$reader = new CSVStreamReader($file);
foreach ($reader->read() as $row) {
    //TODO save to DB, or make something useful
    print_r($row);
}

Не думаю что это сильно спасёт по времени, но тут можно посмотреть в сторону асинхронной обработки. То есть загружаем файл из админки, говорим пользователю что файл загружен и обрабатывается, запускаем отдельным процессом обработку файла, а пользователю показываем прогресс, и по итогу результат обработки.

альтернатива: Если вы уверены в данных и не боитесь их загружать без валидации, то можно посмотреть в сторону https://dev.mysql.com/doc/refman/8.0/en/load-data.html или поискать аналоги для вашего сервера БД

1

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.