2

Нам на сайте нужно реализовать обмен с 1С, с которого раз в сутки происходит полная выгрузка товаров в csv файле. Примерно 100 тыс товаров.

Естественно не все товары изменяются, и чтобы оптимизировать скорость импорта, решили использовать хеш-суммы.

Т.е. в процессе очередного обмена, для каждого товара из csv высчитывается хеш-сумма, и в БД (отдельной таблицей) записывается ID товара вместе с хешем.

Далее, при последующих обменах, чтобы сразу не обновлять товар на сайте, мы проверяем изменилась ли хеш сумма товара на сайте, с текущим хешом. В зависимости от этого обновляем товар.

1) Может есть предложения, что можно более оптимизировать ?

2) Поскольку в csv файле каждый раз выгружается полный список товаров, то удаленные товары из 1С просто не попадают в файл обмена, и их нужно удалить с сайта.

Каким образом можно реализовать удаление, чтобы для каждого товара не делать запрос к БД и не проверять на существование товара?

У меня возникли следующие мысли по реализации: 1. Собираю массив ID товаров из csv файла и отдельный массив с ID всех товаров из сайта. 2. Сравниваю эти 2 массив, через array_diff.
3. Результатом будет следующее: Пересечение массивов - ID товаров, которые требуется возможно надо будет обновить. ID которые есть в одном массиве но нет в другом - это те, которые нужно добавить, и наоборот, это те товары, которые нужно удалить.

Подскажите, какие у вас были бы варианты решение? Как вы решали подобные задачи?

2 ответа 2

2

Первый вопрос: насколько такой метод правильный?

Метод вполне себе годный - просто одна из реализаций версионирования. С хэшированием всех параметров есть нюанс - не забывайте сортировать их одинаковым способом. Чтоб в случае, если в выгрузке параметры будут в другом порядке, вы не получили бы другого хэша. Примерно так работает подпись параметров в запросах api.

Можно сделать чуть проще - завести поле с датой последнего изменения данных товара. В базе 1С и у себя. Это тоже своего рода версия. Изменилась? - пора обновляться. Тут тоже есть нюанс. Товар могли поменять дважды: на новые значения и второй раз к предыдущим. В итоге дата новая, а параметры старые. Но накладные расходы на обновление такой записи в вашей базе - небольшая цена за такую простоту.

Каким образом можно реализовать удаление?

Заведите ещё одно поле в товарах в вашей базе: номер версии, дата последней синхронизации с 1С. Или даже такой флаг - "подлежит удалению: да/нет". Теперь, пока переносите всё свежее из выгрузки к себе в базу, заодно обновляйте это новое поле. Поднимайте в нём версию до актуальной, обновляйте дату синхронизации на текущую или выставляйте значение "подлежит удалению = нет" для обновлённых (но тут надо будет в начале синхронизации выставить "= да" всем товарам в вашей базе).

Теперь после успешной синхронизации просто удалите всё, что не было затронуто текущей выгрузкой. В случае с версиями - удалите всё что ниже текущей свежей. С датами - всё что старее даты начала последней выгрузки. С флагом на удаление - всё что не было затронуто выгрузкой и следовательно так и осталось лежать в базе со значением "подлежит удалению = да".

0

@Lexx918 все расписал. Я согласен со всем, что он написал. Но хочу поделится своим опытом по подобной оптимизации процесса импорта.

У меня была задача уменьшить время импорта товаров(~15 000 позиций, csv-файл) на сайте, который размещался на виртуальном хостинге. Импорт занимал примерно 2 часа, а Заказчик хотел радикально уменьшить время - он планировал обновлять товары на своем сайте каждый час. Я решил пойти тем же путем, что и вы - использовать ранее вычисленные значения хешей по значениям параметров товаров, чтобы в импорт попадали только те из них, которые изменились со времени последнего их импорта. Чтобы не изменять схему БД у стоковых модулей сайта - я создал отдельную таблицу для хранения кэша с хешами:

--
-- Table structure for table `modx_xxx_import`
--

CREATE TABLE `modx_xxx_import` (
  `hash` varchar(64) NOT NULL
  `sku` varchar(128) NOT NULL,
  `createdon` datetime NOT NULL,
  `updatedon` datetime DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

Хеш(sha256) вычисляется по значениям массива(массив должен быть отсортирован по ключам!) параметров товара.

Процесс импорта стал таким:

  • Фиксируется время старта процесса импорта (DT_START)

  • Если таблица кеша не содержит записeй, то деактивируем/удаляем товары через API сайта.

  • Проходим по всем строкам исходного csv-файла, для каждой записи ищем по его артикулу запись в таблице кеша. Если запись найдена, то вычисляем хеш для товара по данным, полученным из исходного файла и сравниваем со значением хеша из полученной записи таблицы кеша. Если хеши совпадают, то обновляем поле updatedon и переходим к следующей записи исходного файла. Если хеши не совпадают, то обновляем хеш в таблице кеша, обновляем поле updatedon и записываем данные товара в выходной csv-файл. Если запись в таблице кеша не найдена - вычислям хеш, создаем для товара запись в таблице кеша и пишем товар в выходной csv-файл.

  • Выбираем все записи из таблицы кеша с updatedon/createdon < DT_START. Для каждой записи удаляем/деактивируем товар через API сайта.

  • Удаляем записи из таблицы кеша с updatedon/createdon < DT_START

  • Полученный выходной csv-файл "скармливаем" стоковому модулю импорта на сайте

Это позволило получать продолжительность импорта(в 99% случаев) 5-20 минут. Время обработки входного файла по непустому кешу на ~15 000 товаров занимает ~35сек.

Я точно не уверен в оправданности применения мною алгоритма хеширования sha256. Сейчас бы я посмотрел в сторону более легковесных алгоритмов md5(или даже crc32).

Такой кеш будет неэффективен, например, когда цена(ы) товара привязана к курсу какой-то инвалюты и часто пересчитывается. "Дрожание" цены +/- 1руб будет затрагивать все товара разом и во входном файле для всех товаров поменяется хеш. Такой случай можно попытаться решить, например, так:

  • из расчета основного хеша убрать параметры, связанные с ценой, а сделать для них отдельный хеш.

  • решение в обновлении товара базировать на основном хеше

  • решение об обновлении параметров, связанных с ценой(ами) базировать на дополнительном хеше

Процедуру обновления только одного (нескольких) значений параметров товара часто можно сделать более легковесно, по сравнению с обновлением всех параметров товара. Это должно помочь удержать время выполнения импорта в приемлемых значениях.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.