0

Сайт на основе Moodle.

Структура таблицы следующая.

CREATE TABLE mdl_disc_cont_iup
(
  id          INT AUTO_INCREMENT
    PRIMARY KEY,
  bup_regnum  VARCHAR(255)                        NULL,
  group_name  VARCHAR(255)                        NULL,
  sem_bup     INT                                 NULL,
  sem_iup     INT                                 NULL,
  control     VARCHAR(50)                         NULL,
  mark        CHAR(255)                           NULL,
  disc_block  VARCHAR(50)                         NULL,
  full_name   VARCHAR(500)                        NULL,
  login       CHAR(255)                           NULL,
  person_id   CHAR(16)                            NULL,
  date_insert TIMESTAMP DEFAULT CURRENT_TIMESTAMP NULL,
  arc         INT DEFAULT '0'                     NULL
);

Для вставки встроенный метод

$DB->insert_records('disc_cont_iup', $records);

Он объединяет записи по 50 штук и отправляет на вставку. Без отключения автокоммита, индексов и т.д.

Но всё это выполняется катастрофически долго, нужно импортить раз в сутки 400к записей

Переписал я напрямую через mysqli, комбинируя по 500 записей, но по прежнему медленно. Скрипт получает эти записи http запросом, и затем должен в кроне их импортить. Сейчас около 1000 записей в минуту

9
  • Ну наплюйте на этот "встроенный метод", делов-то.
    – Akina
    14 ноя 2017 в 9:29
  • а если объединять не по 50 а по 500 или 1000? объединяет это ведь insert into ... values (row1), (row2), (row3) ? и нужен ли тут пхп в принципе, не обойтись командной строкой? там по 400к так и будет накапливаться постоянно в таблице?
    – teran
    14 ноя 2017 в 9:31
  • Сейчас попробую переписать чисто mysql объединив по 1000
    – Michael
    14 ноя 2017 в 9:46
  • @Akina не вышло
    – Michael
    14 ноя 2017 в 10:44
  • 1
    Я должен был уточнить. А то встречаются люди, 99% времени ждущие сеть и спрашивающие как ускорить >1% времени работы базы. Здесь были: dev.mysql.com/doc/refman/5.7/en/insert-optimization.html ? Наиболее производительный способ в mysql - собрать данные в csv и скормить напрямую через LOAD DATA INFILE запрос. 14 ноя 2017 в 11:14

0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Посмотрите другие вопросы с метками или задайте свой вопрос.