0

Добрый день, на сайте под управлением cms MODx revolution должен генерироваться YML.xml файл для яндекс-маркета. Но при попытках его генерировать приходит ошибка 502. Я ограничил количество товаров для которых генерируется xml файл и всё заработало, так, по частям, я создал один файл, но заказчику нужно, что бы этот файл генерировался автоматически просто при заходе на страницу, так как данные товаров могут меняться и т.д. Возможно ли как то исправить эту проблему?

1
  • Да,безусловно это возможно.
    – Darth
    11 апр 2015 в 20:41

3 ответа 3

0

Хочешь чтобы хватало память на выгрузку? Сделай как Безумкин - выводи текстовые строки. Вот тебе статья по этому поводу, вот тебе код для примера.

UPD: Твой медленный код:

<?php
$SQLtxt = 'SELECT id FROM modx_site_content WHERE template = 1'; 
$q = $modx->prepare($SQLtxt); 
$q->execute(); 
$resultID = $q->fetchAll(PDO::FETCH_ASSOC); 
$count = count($resultID); 
foreach ($resultID as &$rowID) { 
    $resource = $modx->getObject('modResource', $rowID['id']); 
    $yml .= '<offer id="'.$rowID['id'].'" type="vendor.model" available="'.htmlentities($resource->getTVValue('available'), ENT_XML1).'">'; 
    $yml .= '</offer>'; 
}

Вся быстрота q->fetchAll полностью нивелируется $modx->getObject и $resource->getTVValue. Вот как это делается быстро и "modx-way":

<?php
// выполняем всё за одни запрос
$q = $modx->newQuery('modResource');
// присоединяем тв к запросу
$q->innerJoin('modTemplateVarResource','TemplateVarResources'); // #1
$q->innerJoin('modTemplateVar','TemplateVar','TemplateVarResources.tmplvarid = TemplateVar.id'); // #2
// фильтруем
$q->where(array(
    'TemplateVar.name' => 'available', // имя tv поля // #3
    'modResource.template' => 1 // шаблон
));
// берем только нужные поля
$q->select('`modResource`.`id` as `id`');
$q->select('`TemplateVarResources`.`value` as `tv_value`'); // #4
// если данные есть - тогда выводим
if ($q->prepare() && $q->stmt->execute()){
    $resources = $q->stmt->fetchAll(PDO::FETCH_ASSOC);
    foreach ($resources as $resource) { 
        $yml .= '<offer id="'.$resource['id'].'" type="vendor.model" available="'.htmlentities($resource['tv_value'], ENT_XML1).'">'; 
        $yml .= '</offer>'; 
    }
}
10
  • Спасибо, уже что то подобное пытаюсь писать. 13 апр 2015 в 3:10
  • Вывожу текстовые строки, хотя используется для товаров не minishop, товары хранятся как ресурсы. Увы это не помогает 3700 товаров, цикл работает слишком долго. 13 апр 2015 в 12:31
  • Наверняка ты используешь вовсю getCollection вместо $q->prepare() && $q->stmt->execute() - посмотри внимательно на код Безумкина, там всё работает очень быстро именно изза вот этого момента.
    – Vasis
    13 апр 2015 в 15:43
  • $SQLtxt = 'SELECT id FROM modx_site_content WHERE template = 1'; $q = $modx->prepare($SQLtxt); $q->execute(); $resultID = $q->fetchAll(PDO::FETCH_ASSOC); $count = count($resultID); foreach ($resultID as &$rowID) { $resource = $modx->getObject('modResource', $rowID['id']); $yml .= '<offer id="'.$rowID['id'].'" type="vendor.model" available="'.htmlentities($resource->getTVValue('available'), ENT_XML1).'">'; $yml .= '</offer>'; } Вот та часть кода где обрабатываются товары. Самая большая проблема тут это цикл, запросы сильно на время не влияют тут. 13 апр 2015 в 15:48
  • Всё замечательно, ты получаешь список айдишников по-быстрому способу через PDO::FETCH_ASSOC, и тут же... $resource = $modx->getObject('modResource', $rowID['id']); - всё портишь офигенно медленным запросом... Сейчас распишу в своём ответе как надо поступать правильно.
    – Vasis
    13 апр 2015 в 20:58
0

У вас либо физически не хватает ресурсов (память, процессор, места на диске), либо идут программные ограничения - настройки php, apache, nginx, mysql и т.д., либо есть какая-то проблема в скрипте экспорта. Что конкретно происходит - надо отслеживать по логам.

С учетом того, что на меньшей выборке товаров экспорт происходит нормально - я бы в первую очередь обратил внимание на физические параметры - память, и затем на настройки сервера - всякие лимиты на выполнение скриптов, доступную память, кэширование, буферы и т.д.

1
  • Правильная работа на меньшей выборке чаще всего говорит о том, что алгоритм выбран неоптимальный. Поэтому лучше сначала провести профилирование, найти узкие места в коде, оптимизировать его, а уж если не получится только тогда увеличивать лимиты и мощности
    – BOPOH
    12 апр 2015 в 13:22
0

Шаман-админ поведал что сервер получил некорректное сообщение от шлюза.
Решить можно так же написав небольшую обёртку - вместо генерации файла из 150 элементов, разбивай коллекцию на 10, генерируй для каждого и потом слей в один.
Заказчику явно фиолетово как оно будет, а ресурсов потреблятся может меньше.

4
  • Вместо обертки в первую очередь стоит код посмотреть и оптимизировать его по возможности. А уж если после всего все равно упираемся в ресурсы, то тогда можно и альтернативные решения вроде этого использовать
    – BOPOH
    12 апр 2015 в 13:33
  • Оптимизация - это обязательно. Но т.к. я не могу оптимизировать код, то предложил что точно сработает, по данным ТС'а.
    – user31688
    12 апр 2015 в 13:35
  • Ну так ТС может подумать, что это единственный вариант (без изменения параметров сервера). То, что "обязательно" для вас, для других может быть далеко не очевидным )) К тому же ваш вариант именно в таком виде скорее всего даст такой же результат - скрипт будет выполняться так же долго, что приведет к 502 ошибке. Поэтому кроме обертки стоило указать на необходимость выполнения данной операции в фоне и после генерации файла оповещение о результатах работы.
    – BOPOH
    12 апр 2015 в 13:43
  • Про параметры сервера вроде оратор выше (или ниже, смотря как сортировать) ответил. Плюс - КАК именно реализовать предложенный мной алгоритм - это другой вопрос, я всего лишь дал идею решения (костыльную, правда).
    – user31688
    12 апр 2015 в 13:50

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.