1

Есть xml файлвведите сюда описание изображения

Написал парсер и скрипт, который впоследствии добавляет товары в бы, но он долго работает, а если записей в xml файле больше, то вовсе не успевает до конца сработать.

    $languages = simplexml_load_file("test.xml", null, LIBXML_NOCDATA);

    $i = 0;

    foreach ($languages->groupProduct as $group) {

        if((string) $group['name'] == "01 Плитка") {

            foreach ($group->element_list->element as $element) {

                $data = array(); //массив данных


                $file_name = date('YmdHis').rand(100,1000);

                $data["img"] = $file_name.".jpeg";

                foreach($element->minpart_list->minpart as $minpart) 
                    $data["description"] .= $minpart."<br />";                      

                if ($this->add($data)) {
                    $this->download_remote_file($element->pic, "../".$this->config->dir_img_products.$data["img"]);
                }
                $i++;
            }
        }           
    }

    function download_remote_file($file_url, $save_to) {
        $content = file_get_contents($file_url);
        file_put_contents($save_to, $content);
    }

как можно увеличить работоспособность скрипта?

1
  • 1
    как вариант увеличьте max_execution_time в настройках пхп
    – teran
    27 янв 2017 в 17:36

2 ответа 2

3

Просто качайте файлы через curl_multi в несколько потоков (пример).

2
  • Вариант, хороший, но хватит ли ширины канала и памяти?
    – E_p
    27 янв 2017 в 23:28
  • Вот с вангованием у меня плохо. Пробовать надо. В канал полюбому будете упираться при большом количестве потоков (поэтому качать надо ночью) или подбирать количество потоков. По памяти так же надо подбирать. Скорее всего упретесь в количество одновременных подключений к серверу ftp и до нехватки канала, а тем более не хватку памяти просто не дойдете.
    – hardworm
    28 янв 2017 в 9:26
2

Да всё простo, у вас(вашего провайдера) фтп медленный. Что вас убивает network latency.

Читайте Защита от частых запросов к странице. Таже проблема у человека была.

У вас несколько вариантов.

  1. Увеличить время скрипта. (Ни чего не решит.)
  2. Использовать очередь работ. (RabbitMq, ZeroMQ ...). Главный скрипт скидывает работы, а качают фоновые скрипты.

http://www.rabbitmq.com/tutorials/tutorial-one-php.html

http://zguide.zeromq.org/php:_start

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.