Нам на сайте нужно реализовать обмен с 1С, с которого раз в сутки происходит полная выгрузка товаров в csv файле. Примерно 100 тыс товаров.
Естественно не все товары изменяются, и чтобы оптимизировать скорость импорта, решили использовать хеш-суммы.
Т.е. в процессе очередного обмена, для каждого товара из csv высчитывается хеш-сумма, и в БД (отдельной таблицей) записывается ID товара вместе с хешем.
Далее, при последующих обменах, чтобы сразу не обновлять товар на сайте, мы проверяем изменилась ли хеш сумма товара на сайте, с текущим хешом. В зависимости от этого обновляем товар.
1) Может есть предложения, что можно более оптимизировать ?
2) Поскольку в csv файле каждый раз выгружается полный список товаров, то удаленные товары из 1С просто не попадают в файл обмена, и их нужно удалить с сайта.
Каким образом можно реализовать удаление, чтобы для каждого товара не делать запрос к БД и не проверять на существование товара?
У меня возникли следующие мысли по реализации:
1. Собираю массив ID товаров из csv файла и отдельный массив с ID всех товаров из сайта.
2. Сравниваю эти 2 массив, через array_diff.
3. Результатом будет следующее:
Пересечение массивов - ID товаров, которые требуется возможно надо будет обновить.
ID которые есть в одном массиве но нет в другом - это те, которые нужно добавить, и наоборот, это те товары, которые нужно удалить.
Подскажите, какие у вас были бы варианты решение? Как вы решали подобные задачи?