0

Здравствуйте! Есть скрипт, который должен обработать большой csv файл и проверить есть ли запись в бд. Если записи нет – добавить, есть – обновить. Всё просто.

Структура таблицы:

id | number | brand | price
1  |   23   |  1    | 22.3
2  |   24   |  2    | 12.3

Суть вопроса: сейчас скрипт в цикле делает запросы к бд на проверку существования и дальше принимает решение добавлять или обновлять. Получается много запросов и скрипт очень тормозит. On duplicate key update – работает только с полем id т.е. primary field. У меня есть все поля кроме id в цикле.

Можно ли как то увеличить производительность при такой задаче или только в цикле делать 2 запроса? Можно конечно всё сохранять в два масива и дальше делать один insert и update, но объём данных около 10М строк...

UPD (пример запроса в цикле)

    if(($part_id = $this->db->query('SELECT id FROM parts WHERE `part_number` = "'.$item['part_number'].'" AND `brand_id` = "'.$item['brand_id'].'" LIMIT 1')->row_array()['id']) != FALSE)
        $this->db->update('parts', $item, array('id' => $part_id));
    else 
        $this->db->insert('parts', $item);
8
  • в БД есть уникальные ключи?
    – xAqweRx
    Commented 12 мая 2016 в 10:48
  • @xAqweRx id – primary field, number и brand – index. Т.е. у брендов может повторятся number
    – Anton
    Commented 12 мая 2016 в 10:49
  • Скорее всего так и придется циклом. тут вопрос в том как именно вы делаете запросы. Если делать один раз перед циклом prepare а в цикле execute подготовленного запроса с параметрами - то это гораздо быстрее, чем если вы например делаете целый query внутри цикла. Далее смотреть план выполнения запроса, есть ли эффективные индексы для поиска записи
    – Mike
    Commented 12 мая 2016 в 10:50
  • 1
    как вариант - загрузка входящего файла во временную таблицу и сравнение таблиц единым SQL запросом, возможно быстрее будет. Особенно если файл грузить командой load data MySQL
    – Mike
    Commented 12 мая 2016 в 10:52
  • 2
    Вот каждый второй вопрос и подставляют переменные непосредственно в текст. а потом удивляются почему тормозит. НИКОГДА не подставляйте значения переменных непосредственно в текст запроса. Перед циклом, один раз: $stmt=$db->prapare('SELECT id FROM parts WHERE part_number=? AND brand_id=?');. В цикле $stmt->bind_param('ii',$item['part_number'],$item['brand_id']); $result = $stmt->get_result(); $result->fetch.... По хорошему если нужные параметры в обычных переменных а не элементах массива, то bind_param так же делается только один раз перед циклом. внутри только get_result.
    – Mike
    Commented 12 мая 2016 в 12:46

1 ответ 1

2

На данный момент, вижу как выход:

  1. В БД на поле, которое проверяеться повесить unique key -> я так понимаю, что бренд не должен повторяться. соответственно на него и вешать ключ
  2. после этого выполнять On duplicate key update или insert ignore ( в зависимости от того, какая цель )

апдейт

После обновления вопроса : unique key на поля part_number,brand, а не просто index. тогда можно спокойно делать insert ** on duplicate key update. Без дополнительных проверок.

ALTER TABLE `parts ` ADD UNIQUE `unique_index`(`part_number`, `brand`);
2
  • У бренда может быть несколько number, но у каждого бренда может быть только уникальный number
    – Anton
    Commented 12 мая 2016 в 10:57
  • @ka5itoshka Обновил ответ
    – xAqweRx
    Commented 12 мая 2016 в 11:00

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.