Здравствуйте! Есть скрипт, который должен обработать большой csv файл и проверить есть ли запись в бд. Если записи нет – добавить, есть – обновить. Всё просто.
Структура таблицы:
id | number | brand | price
1 | 23 | 1 | 22.3
2 | 24 | 2 | 12.3
Суть вопроса: сейчас скрипт в цикле делает запросы к бд на проверку существования и дальше принимает решение добавлять или обновлять. Получается много запросов и скрипт очень тормозит. On duplicate key update – работает только с полем id
т.е. primary field. У меня есть все поля кроме id
в цикле.
Можно ли как то увеличить производительность при такой задаче или только в цикле делать 2 запроса? Можно конечно всё сохранять в два масива и дальше делать один insert и update, но объём данных около 10М строк...
UPD (пример запроса в цикле)
if(($part_id = $this->db->query('SELECT id FROM parts WHERE `part_number` = "'.$item['part_number'].'" AND `brand_id` = "'.$item['brand_id'].'" LIMIT 1')->row_array()['id']) != FALSE)
$this->db->update('parts', $item, array('id' => $part_id));
else
$this->db->insert('parts', $item);
id
– primary field,number
иbrand
– index. Т.е. у брендов может повторятсяnumber
load data
MySQL$stmt=$db->prapare('SELECT id FROM parts WHERE part_number=? AND brand_id=?');
. В цикле$stmt->bind_param('ii',$item['part_number'],$item['brand_id']); $result = $stmt->get_result(); $result->fetch....
По хорошему если нужные параметры в обычных переменных а не элементах массива, то bind_param так же делается только один раз перед циклом. внутри только get_result.