0

В проекте на Laravel 5.4 использую очереди и супервизор для импорта товаров из файла формата ".yml". При создании очередей, передаю переменную с номером товара с которого надо начать импорт, чтобы скрипт не висел долго. Таким образом, если в файле 100 000 товаров, создается 100 очередей по 1000 товаров. Все импортируется корректно за исключением изображений.

Примерно на 30-40 тысячи изображений они перестают загружаться на сервер. В БД корректно записывается название изображения и путь к нему, никаких ошибок при работе не возникает.

Так эта проблема отображается на сайте

Считываю файл XMLReader и c помощью simplexml_import_dom разбираю товар. Скачиваю изображение используя:

move_uploaded_file($link, $path);

Где $link, соответственно ссылка на сторонний ресурс.Все они без каких либо проблем открываются в браузере.

Пробовал делать загрузку через curl, результат еще хуже, даже на маленьком файле более половины изображений не загружаются. На диске появляются пустые файлы по 0 байт.

public function uploadImage($link, $path){
    $ch = curl_init ($link);
    curl_setopt($ch, CURLOPT_HEADER, 0);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_BINARYTRANSFER,1);
    $raw=curl_exec($ch);
    curl_close ($ch);
    if(file_exists($path)){
        unlink($path);
    }
    $fp = fopen($path,'x');
    fwrite($fp, $raw);
    fclose($fp);       
}

Добавив такую конструкцию в функцию загрузки

if(curl_exec($ch) === false)
    {
        dd('Ошибка curl: ' . curl_error($ch));
    }

я получаю вывод Ошибка curl: <url> malformed. С чем это может быть связано?

Буду благодарен за любую помощь и предложения.

7
  • По-хорошему move_uploaded_file не должен скачивать сторонний ресурс :-) curl конечно предпочтительней, так как позволяет легко посмотреть ошибки возникающие при скачивании (возможно у вас есть какие-то лимиты на сервере и попытки скачивать картинки просто режутся или сеть тупит). В базу-то вы $path записываете? 12 сен 2018 в 17:37
  • Что странно, при использовании curl я получаю множество пустых изображений, по 0 байт. Но никаких ошибок я не получаю. До move_uploaded_file использовал copy(), результат тот же. Отсутствие ошибок пугает меня больше всего, я не понимаю, что не так. $path записывается в базу к модели товара, используется потом при выводе изображений на странице.
    – badordos
    13 сен 2018 в 6:06
  • Либо что-то не так с url (может пробелы лишние или ещё что) либо сервер блокирует частые запросы
    – Nick
    13 сен 2018 в 6:37
  • @Nick привел ссылку из xml элемента к строке и обернул в trim(), не помогло. $link = trim($link->__toString());
    – badordos
    13 сен 2018 в 6:45
  • 1
    Обратите внимание, что есть варианты, когда сторонний сервер ответит вам пустым телом, и при этом это не будет ошибкой curl. Проверяйте код HTTP-ответа, логируйте ответ если тело пустое и смотрите, что там не так. Если вы парсите сторонний сайт, то возможно вы стлкнулись с механизмом противодействия парсингу. Кстати, sleep принимает целое число. 13 сен 2018 в 8:26

1 ответ 1

0

Проблема была в том, что я передавал в функцию uploadImage SimpleXMLelement содержащий строку с url адресом. Serialization of 'SimpleXMLElement' is not allowed и поэтому curl создавал пустой файл, ведь url поступал к нему некорректно.

Приводя передаваемую $link к строке с помощью (string) перед передачей в функцию, проблема больше не возникала.

P.S. А вот почему изображения переставали загружаться с помощью move_uploaded_file я разобраться не сумел.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.