1

Есть две таблицы А и B. A - 300 млн. и B - 30 млн записей. Нужно скопировать из таблицы A в B записи за день, ~100 тысяч.

Если использовать стандартный подход INSERT + SELECT данный запрос занимает несколько часов. Есть ли другие варианты выполнить данные действия, которые существенно увеличат скорость выполнения?

p.s. в доп. таблице C ~100к записей, запрос в условии возвращает ~50к.

Текущий запрос

INSERT INTO B
SELECT
       id,
       col1,
       col2,
       day,
       ...
FROM A
WHERE day = '2023-08-14' AND col1 IN (
       SELECT col1 FROM C WHERE col1 IS NOT NULL
);

Explain

id select_type table partitions type possible_keys key key_len ref rows filtered Extra
1 INSERT B null ALL null null null null null null null
1 SIMPLE C null range col_1 col_1 9 null 14604 100 Using where; Using index; Start temporary
1 SIMPLE A null ref ci1 ci1 40 const 146884 10 Using where; End temporary

Таблица А

create table A
(
    id    int unsigned auto_increment primary key,
    day   char(10)                       not null,
    col_1  varchar(32)                    null,
    col_2  varchar(48)                    null,
    col_3  varchar(48)                    null,
    col_4  varchar(128)                   null,
    col_5  varchar(48)      default ''    null,
    col_6  varchar(32)                    null,
    col_7  char(2)          default 'NA'  not null,
    col_8  varchar(256)                   not null,
    col_11 int unsigned                   not null,
    col_12 int unsigned     default '0'   not null,
    col_13 int unsigned     default '0'   not null,
    col_14 int unsigned     default '0'   not null,
    col_15 decimal(12, 3)   default 0.000 not null,
    col_16 decimal(12, 3)   default 0.000 not null,
    col_17 decimal(12, 3)   default 0.000 not null,
    col_18 decimal(12, 3)   default 0.000 not null,
    col_19 decimal(12, 3)   default 0.000 not null,
    col_20 tinyint unsigned default '50'  not null,
    col_21 tinyint unsigned default '0'   not null,
    col_9  tinyint unsigned default '1'   not null,
    col_22 tinyint unsigned default '0'   not null
)
    collate = utf8mb4_general_ci;

create index ci1
    on A (day, col_6, col_9);

Таблица B

create table B
(
    id    int unsigned           not null primary key,
    day   char(10)               not null,
    col_1  varchar(32)            null,
    col_2  varchar(48)            null,
    col_3  varchar(48)            null,
    col_4  varchar(128)           null,
    col_5  varchar(48) default '' null,
    col_6  varchar(32)            null,
    col_7  char(2)                not null,
    col_8  varchar(256)           not null,
    col_9  tinyint unsigned       not null,
    col_10 tinyint unsigned       null
)
    collate = utf8mb4_general_ci;

create index ci1
    on B (day, col_1, col_6, col_9);

create index col10
    on B (col_10);

create index day_col1
    on B (day, col_1);

Таблица С

create table C
(
    id    int unsigned auto_increment primary key,
    col_1 bigint unsigned null,
    constraint col_1
        unique (col_1)
)
    collate = utf8mb4_general_ci;
12
  • 1
    insert 100k записей не может занимать несколько часов. Значит все время занимает скорее всего сам select этих записей. А если так, то надо задавать себе вопрос "как ускорить select". Для ответа на который надо посмотреть план выполнения запроса, есть ли индексы например на поле day. Еще бы не помешало посмотреть какой в таблице первичный ключ и какова его изменивость у записей за 1 день
    – Mike
    14 авг в 12:17
  • ну и вот этот вот IN в запросе, там в подзапросе сколько записей примерно
    – Mike
    14 авг в 12:18
  • 1
    Просто для ориентировки. У меня на лэптопе импорт из csv и xml в Access 5,8 млн. небольших записей занимает 90 с. Это сравнение так себе, конечно, но видать с SELECTом в запросе совсем худо. Если подзапрос возвращает 50 т. записей, а копируется 100 т., то это получается 50 т. выборок по 2 записи. Наверно, не самый производительный вариант.
    – rotabor
    14 авг в 12:25
  • А если вместо IN сделать JOIN?
    – rotabor
    14 авг в 12:31
  • 2
    Спрашивая о производительности, выкладывайте полные структуры таблиц и EXPLAIN запроса. Текущий запрос - синтаксически ошибочен (опечатка?). В любом случае - избавиться от WHERE IN.
    – Akina
    14 авг в 12:44

1 ответ 1

0

А если вместо IN сделать JOIN?

INSERT INTO B
SELECT
       id,
       col1,
       col2,
       day,
       ...
FROM A INNER JOIN C ON A.col1=C.col1
WHERE day = '2023-08-14' AND col1 NOT NULL;

Не уверен, понадобится "AND col1 NOT NULL" или нет. Зависит от содержимого A.

1
  • @Akina Хорошо, что есть знающие люди - поправят, если что. А то мысли растекаются от жары...
    – rotabor
    14 авг в 17:58

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.