0

Есть код, теоретически не допускающий дублирования в базе по полям $slon_code и $service_id (составной уникальный ключ не делал, думаю пока разобраться без него, да и разобраться в целом в дублировании).

Суть класса - парсинг и кеширование инфы.

Основной метод класса get_response(): есть слон isset_slon() - проверяем время, выдаем из бд как из кеша или парсим, нет слона - добавляем в базу add_slon(), затем парсим и записываем инфу в слона, выдаем юзеру.

Проблема: почему-то в базе появляются дубликаты по полям $slon_code и $service_id. Не вижу смысла добавлять проверку isset_slon() внутрь add_slon(), ведь добавление итак проходит проверку внутри get_response() и попадает в ветку else то есть isset_slon() == false.

Так вот в чем дело: при неправильной работе isset_post() работа дальнейшего кода бессмысленна (а ведь речь не об этом методе, а любом работающим с sql-запросами). Как быть, что делать?

Вопросы:

  1. Почему происходит дублирование записей в БД? (на 5000 слонов появилось 25 дубликатов)
  2. Как порешить проблемку?
  3. Как работают CMS где для генерации веб-страницы используются сотни sql-запросов?

Updated 8.12.2016

Завел маленький лог, вторая строка это microtime(true). Видно что запись найдена, и после этого все равно идет добавление.

Date: 08.12.2016 13:51:28 
1481194288.9353
slon_code: 125125125 service_id: 1
slon_code в базе есть, проверяем таймаут


Date: 08.12.2016 13:51:29 
1481194289.5376
slon_code: 125125125 service_id: 1
slon_codeа в базе нет, придется парсить с нуля
slon_code добавлен в базу


Date: 08.12.2016 13:51:29 
1481194289.5627
slon_code: 125125125 service_id: 1
slon_codeа в базе нет, придется парсить с нуля
slon_code добавлен в базу


Date: 08.12.2016 13:51:29 
1481194289.5887
slon_code: 125125125 service_id: 1
slon_codeа в базе нет, придется парсить с нуля
slon_code добавлен в базу

Класс запроса

class Resp
{

    private $slon_code;
    private $service_id;

    public function __construct($slon_code = '', $service_id = 0)
    {
        $this->slon_code = $slon_code;
        $this->service_id = $service_id;
    }

    public function get_response()
    {

        if ($this->isset_slon()) {
            //СЛОН ЕСТЬ
            //Прошло ли достаточно времени с последнего парсинга
            if ($this->can_parse()) {
                //парсим
                $this->parse_slon();
                return $this->get_slon_info();
            } else {
                //выдаем из бд (кеш)
                return $this->get_slon_info();
            }

        } else {
            //СЛОНА НЕТ!
            //добавим в базу слона/пустышку
            //по пустышке ограничиваю запросы пользователей
            $this->add_slon();

            $this->parse_slon();
            return $this->get_slon_info();
        }
    }

    private function isset_slon()
    {
        $sql = 'SELECT COUNT(*) AS count FROM slon WHERE slon_code = :slon_code AND service_id = :service_id';
        $data = $this->db->select($sql, $this->slon_params());

        if ($data[0]['count'] > 0) {
            return true;
        } else {
            return false;
        }
    }

    private function add_slon()
    {
        //(появились одинаковые слоны в базе)
        $sql = 'INSERT INTO slon (slon_code, service_id) VALUES (:slon_code, :service_id)';
        $params = [':slon_code' => $this->slon_code, ':service_id' => $this->service_id];

        $inserted = $this->db->insert($sql, $params);

        if ($inserted) {
            return true;
        } else {
            return false;
        }
    }
}

Код класса для запроса в бд:

class Database {
    public function insert(){
      //практически копия метода select() ниже
    }

    public function select($sql = '', $params = array()){
        $sth = $this->dbh->prepare($sql);
        if (!empty($params)) {
            $s = $sth->execute($params);
        } else {
            $s = $sth->execute();
        }

        if (!$s) {
            //логируем ошибку, ни одной ошибки в логах пока нет
            Log::create_mysql_log($sql, $params, $sth->errorInfo());
            return false;
        }

        return $sth->fetchAll(PDO::FETCH_ASSOC);
    }
}
18
  • 4
    Сложно сказать в чем проблема но видимо между вызовами isset и add что то вставляет слона. И зачем городить такой большой код с лишними обращениями к БД если уникальные ключи для того и предназначены что бы начисто исключить такие ситуации. без ключа никто никогда не сможет гарантировать что дублей не будет. На крайний случай можно конечно использовать insert ... select ... where not exists(select ...) но опять же вставка-проверка должна быть атомарной операцией для БД
    – Mike
    4 дек 2016 в 13:34
  • @Mike во всем коде add_slon() встречается только один раз в методе get_response(). Если сделаю составной уникальный ключ, то придется обрабатывать ошибки БД, я такой код пока не практиковал, решил делать как полегче. 4 дек 2016 в 13:42
  • Код ошибки проверить не сложно. при некотором желании можно сделать даже без анализа ошибок (хотя на них все равно надо проверять всегда, мало ли что в БД произойдет). Но тут ощущение что во втором потоке/приложении вставка проходит. проверьте по логам web-сервера сколько раз страница записи вызывалась
    – Mike
    4 дек 2016 в 13:51
  • 1
    ну так все просто. insert от вашего не отличается. сразу после него проверяем db_connect->errno (mysqli) или php.net/manual/ru/pdo.errorcode.php, если он не 0 - значит ошибки были. Если при этом он 1062 (для MySQL) то это ошибка дублирования.
    – Mike
    4 дек 2016 в 14:25
  • 1
    @Jean-Claude я к тому, что у вас один php-скрипт. но он выполняется одновременно в нескольких потоках. т.е. для каждого запроса запускается копия, которая работает параллельно с остальными. и пока одна копия проходит путь от проверки до вставки - вторая вполне успевает вставить запись. при этом код работает "пошагово и линейно" в рамках одного конкретного запроса.
    – user177221
    8 дек 2016 в 11:49

3 ответа 3

8

Не верный подход. Целостность данных должно контролироваться на уровне СУБД. Желательно это контролировать через:

  1. Индексы UNIQUE в БД
  2. LOCK таблицы от проверки на существование до завершения вставки.
  3. Или вот такой хак https://stackoverflow.com/questions/3164505/mysql-insert-record-if-not-exists-in-table

А лучше совместить 1 и 2

6
  • 2
    Зачем lock таблицы?
    – Qwertiy
    7 дек 2016 в 7:43
  • да зачем лок таблицы если как я понимаю запросы выполняются друг за другом пошагово? 7 дек 2016 в 13:19
  • 1
    наверное плохо вы понимаете. Если бы они выполнялись пошагово и линейно не было дублей с такой проверкой.
    – hardworm
    7 дек 2016 в 17:19
  • Для парсера и кеша однопоточность редкое явление.
    – hardworm
    7 дек 2016 в 18:25
  • 1
    то что оно всё в 1 скрипте не обозначается, что этот скрипт не исполняется в одни момент времени N раз. Сколько его дернули в момент времени, столько и исполнилось.
    – hardworm
    8 дек 2016 в 12:26
1
+200

Почему конкретно происходит дублирование записей исходя из предоставленного кода сказать невозможно. Очевидно лишь что функция добавления записи где-то по какой-то причине вызывается дважды. Самая очевидная причина - повторный запрос от браузера, существование которого можно посмотреть по логам сервера (access_log).

Предположим что браузер действительно делает два запроса по неизвестной причине, которую вы не можете устранить (бывает и такое). Предположим вы будете обнаруживать этот второй запрос и выдавать ошибку. Этим вы не столько не решите проблему, сколько создадите дополнительные неудобства для ваших пользователей: с высокой вероятностью они увидят не результат выполнения первого (успешного) запроса, а сообщение об ошибке. Потом будут писать вам и вы будете тратить время и силы на объяснение очевидного...

Принципиально решить эту проблему можно возвращая сообщение об успешном добавлении даже если запись просто существует. Ведь пользователям не столько важно знать добавилась ли запись в самом деле, сколько важно знать что запись, которая им нужна, в базе всё-таки, в конце концов, существует.

Для этого вам нужно использовать уникальный ключ по колонкам slon_code и service_id.

ALTER TABLE `slon` ADD UNIQUE( `slon_code`, `service_id`); 

В комментариях вы пишите что пока не практиковали обработку ошибок БД. В вашем случае без этого можно обойтись, использовав синтаксис INSERT IGNORE.

Если функция get_slon_id() делает отдельный запрос и код ожидает что функция add_slon вернёт факт существования новой записи, то вся измененная процедура добавления будет такая:

private function add_slon()
{
    // добавили IGNORE
    $sql = 'INSERT IGNORE INTO slon (slon_code, service_id) VALUES (:slon_code, :service_id)';
    $params = [':slon_code' => $this->slon_code, ':service_id' => $this->service_id];

    $inserted = $this->db->insert($sql, $params);
    $this->slon_id = $this->get_slon_id();
    // проверяем что ID найден, значит какая-то вставка точно удалась
    return (bool) $this->slon_id;
}

Если же нужно всё-таки проверять каждый раз что запись именно что добавилась, то придётся всё-таки начать практиковать обработку ошибок.

Рекомендуемый в другом ответе подход с блокированием таблицы (LOCK TABLES ...) саму проблему одновременного добавления записей не решает.

3
  • да, буду добавлять уникальный составной ключ. Пока что так никто и не объяснил почему может происходить дублирования кроме намека в коменте ru.stackoverflow.com/questions/599453/… 7 дек 2016 в 17:39
  • Дублирование - это легко. При каждом сохранении пишите в лог полный трейс. По нему потом будет просто понять откуда был вызов сохранения. Обычная отладка. Другое дело что не обязательно есть простой способ избежать дублирования...
    – sanmai
    8 дек 2016 в 0:45
  • выбрал ответом. На самом деле полным ответом считаю все ответы + комментарии данного вопроса, собрал ответ по крупицам, но у вас более менее компактно разложено по полочкам.. 10 дек 2016 в 9:13
0

Как верно заметили в остальных ответах, контролировать уникальность записей - это забота БД. Но использовать, все же, лучше не уникальный индекс, а первичный ключ.

CREATE TABLE slon(
    slon_code VARCHAR(255) NOT NULL,
    service_id INT NOT NULL,
    PRIMARY KEY(slon_code, service_id)
);

И тогда при попытке вставки дубликата будет возвращаться ошибка, которая отлавливается соответствующей функцией используемого вами расширения.

9
  • первичный ключ уже есть slon_id 7 дек 2016 в 13:23
  • @Jean-Claude Если у вас в таблице есть такой первичный ключ, то вы в принципе не смогли бы добавить две записи с одинаковыми ключами. Перепроверьте, есть ли он. Если есть, то подобное поведение либо обусловлено каким-то некорректным кешированием, либо ненаучной фантастикой.
    – rjhdby
    7 дек 2016 в 13:35
  • первичный slon_id автоинкрементный. 7 дек 2016 в 13:41
  • @Jean-Claude тогда вы несколько слукавили на счет дубликата slon_id. Его не могло возникнуть.
    – rjhdby
    7 дек 2016 в 13:44
  • я ничего не лукавил, но всю подноготную же не могу сюда скидывать, никто не захочет заниматься крупным вопросом, поэтому в вопрос добавил самое необходимое. Дубликат в данном случае я подразумеваю - дублирование полей $slon_code и $service_id, которых не должно быть, у поля slon_id другое назначение. Да оно разное автоинкрементальное. 7 дек 2016 в 13:49

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.