0

Нужен совет по обработке сравнительно большого количества данных.

Есть скрипт, который готовит xml-файл для выгрузки объявлений в один сервис. Скрипт работает нормально, но в его конце есть особо важный момент - обработка файлов-изображений и отправка их на удаленный сервер (для публикации на сайте). Почему на удаленный, спросите вы? По отслеживанию времени загрузки, если на сайте публиковать изображения, размещенные на сервере, где исполняется скрипт, загрузка этих изображений довольно долгая. Поэтому решено было перемещать их на сервер сайта. Для перемещения использую cUrl:

$uploadRequest = $picsArr;
$curl = curl_init();
curl_setopt($curl, CURLOPT_URL, 'https://domain/actions/controllers/RemoteImgReceiver.php');
curl_setopt($curl, CURLOPT_FOLLOWLOCATION,1);
curl_setopt($curl, CURLOPT_TIMEOUT, 20);
curl_setopt($curl, CURLOPT_POST, 1);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($curl, CURLOPT_POSTFIELDS, http_build_query($uploadRequest));
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);
$output   = curl_exec($curl);
$httpcode = curl_getinfo($curl, CURLINFO_HTTP_CODE);
$info     = curl_getinfo($curl);
curl_close($curl);

В массиве $uploadRequest набор массивов, каждый из которых содержит имя файла и его base64 представление:

array(
    array(
    name: 'file',
    base64: '...'
    ),
...
)

В одном объявлении собирается до 40 изображений (массив "весит" примерно 8Мб) и передается указанным выше cUrl`ом.

Объявлений примерно 400. В итоге передача занимает безумное количество времени. Есть ли более оптимальные методы передачи файлов на удаленный сервер?

4
  • 1
    Архивирование файлов (любым путём - gzip компрессия, архив rar/zip), либо компрессия изображений через lossy формат типа JPEG. Если сервер выдержит загрузку сразу для нескольких постов, то распарралельте это через multi_curl, либо что-то типа Gearman/RabbitMQ. 29 ноя 2019 в 21:39
  • @DanielProtopopov вы имеете в виду архивирование всех изображений и одним файлом по итогу слить их в удаленный сервер (где сайт) или в цикле? 30 ноя 2019 в 9:24
  • 1
    Да, заархивировать в один общий архив и отослать, чтобы не открывать соединение на каждый архивированный файл по отдельности. 1 дек 2019 в 8:44
  • @DanielProtopopov Спасибо, сформировал архив, добавил туда все файлы и передал на удаленный сервер через ftp_put. Самый быстрый способ передачи, который я видел (2.5Гб за 2-3 минуты). Хотя возможно это из-за того, что оба сервера принадлежат reg.ru и висят в одном датацентре. 3 дек 2019 в 11:31

0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Посмотрите другие вопросы с метками или задайте свой вопрос.