2

Есть огромная база в excel. Знаю, что можно тупо сохранить файл в csv и импортировать его в базу данных mysql. Но мне нужно разбить её на части. Условно линия выглядит так: производитель, имя товара, его характеристики. В таблице около 20к записей. Производитель и товар могут дублироваться много раз имея разные характеристики. Я хочу разбить это на три таблицы в mysql - company, product, characteristic. Для оптимизации убрать дубликаты - производителя и имени товара. Понимаю, что мне нужно привязать по id характеристики товара к названию товара, а название товара привязать по id к производителю. Сразу хочу сказать, что в mysql не силен. Выгрузить таблицу я могу. Как мне привязать всё по id между собой? Прошу пример, как это можно сделать с ссылкой на материал. Заранее спасибо.

3 ответа 3

2

Как мне привязать всё по id между собой?

Покажу на примере двух таблиц.

Пусть есть некий набор данных, вываленный в file.csv.

Создаём под них временную таблицу, и импортируем:

LOAD DATA INFILE "file.csv"
INTO TABLE temptable (full_fieldset);

Далее начинаем заполнять рабочие таблицы данными от корня дерева связей.

CREATE TABLE maintable (id_main SERIAL PRIMARY KEY, 
                        main_fieldset);

INSERT INTO maintable (main_fieldset)
SELECT DISTINCT main_fieldset FROM temptable;

После её заполнения дубли отсеяны, и каждая уникальная запись получила свой уникальный синтетический индекс.

Теперь заполняем зависимую таблицу. Данные берём из временной, а индекс для связи - из ведущей:

CREATE TABLE slavetable (id_slave SERIAL PRIMARY KEY, 
                         slave_fieldset,
                         id_main BIGINT,
                         FOREIGN KEY (id_main) REFERENCES maintable (id_main));

INSERT INTO slavetable (slave_fieldset, id_main)
SELECT temptable.fieldset, maintable.id_main
FROM temptable
NATURAL JOIN maintable;

И, собственно, всё...

Для упрощения процесса программирования весьма желательно соблюдать уникальность имён полей в пределах рабочего набора таблиц и соответствие имён полей во временной и рабочих таблицах. Т.е. в таблицах назначения одноимёнными являются только поля, по которым таблицы связываются, все остальные уникальны. Это позволяет использовать NATURAL JOIN и не составлять длинный список равенств в секции ON.

6
  • Последний раз работал 4 года назад с mysql, но твой код явно не то, как мне кажется. Выгрузил всю таблицу excel в таблицу temp. В базе создаю новую таблицу company(cid,cname) - выгружаю в неё список компаний без дубликатов. А вот выгрузить модели из temp в таблицу models(mid, mname, companyid) с id из company не получается. Надо же сравнивать данные из temp и company, а потом уже записывать в models. Верно?
    – IS SR
    29 дек 2019 в 20:48
  • Ну я именно это и пишу... что здесь "не то"? Вроде процесс отработан, не на одном массиве данных пробован...
    – Akina
    29 дек 2019 в 20:50
  • @ISSR Если у тебя три таблицы образуют "штаны" (производитель -> характеристика <- товар), то товар и производитель заполняются вообще независимо, а если цепь (производитель -> товар -> характеристика), то заполнение идёт строго по цепи, на каждом следующем шаге используются занесённые в таблицы сведения предыдущих шагов.
    – Akina
    29 дек 2019 в 20:55
  • Да, у меня строгая цепь должна быть. Вот у меня таблица models(mid, mname, companyid). mid автоматически генерируется. mname я беру из таблицы temp, а companyid я беру уже из company(cid). INSERT INTO models(mname, companyid) SELECT temp.modeltemp, company.cid FROM temp NATURAL JOIN company; Ну это же явно не то)Он делает много дубликатов, id не совпадают. Я извиняюсь, но знаний с того времени у меня вообще не осталось)
    – IS SR
    29 дек 2019 в 21:18
  • Если я правильно понимаю, то нужно проверить к какой компании принадлежит модель в таблице temp(companytemp, modelstemp), потом сравнить имена компаний из таблицы temp(companytemp) с company(cname) и назначить id в таблице models(companyid) из company(cid).
    – IS SR
    29 дек 2019 в 22:46
0

До загрузки в БД вам надо привести данные в Excel. Это два разных процесса - нормализация данных и загрузка в MySql. Нормализировать данные в Excel можно таким образом:

  1. Копируете колонку с производителями на другой лист - будущая таблица производителей;
  2. Далее выделяете всю колонку с именами производителей и вызываете функцию "удалить дубликаты" - так вы получаете список уникальных значений производителей;
  3. Добавляете к производителям колонку ID, это просто номер по порядку каждого производителя;
  4. В вашей основной таблице добавляете колонку для идентификатора производителя, куда подтягиваете идентификатор с созданного ранее листа при помощи функции ВПР;
  5. Выделите эту колонку, скопируйте и сделайте "вставить только значения" - теперь вместо формул ВПР у вас значения идентификаторов производителей товаров;
  6. Удалите столбец с именами производителей.

Повторите этот алгоритм для всех полей которые хотите вынести.

4
  • Наоборот - сначала сырые данные импортировать в MySQL, а там нормализовать из временной таблицы в постоянные,- намного проще. И уж во всяком случае ручной работы точно будет меньше.
    – Akina
    26 дек 2019 в 4:39
  • Я исходил из этого: Сразу хочу сказать, что в mysql не силен.
    – Z.John
    26 дек 2019 в 5:24
  • Ну... да, позиция имеет право на существование... хотя автору я бы посоветовал развеивать своё незнание, а не лелеять его. А что может быть лучше для изучения предмета, чем реальная задача?
    – Akina
    26 дек 2019 в 5:26
  • К слову, нет смысла удалять поля, как и нет смысла генерить кучу отдельных CSV. LOAD DATA INFILE допускает обработку, включая как игнорирование части полей при импорте, так и вычисление неких выражений для помещения в поля записи на основе имеющихся значений. Так что достаточно: вынос на другой лист, сжатие, нумерация, ВПР, спецзамена-значения, очистка/удаление темп-листа.
    – Akina
    26 дек 2019 в 5:29
0

Убрал дубликаты компаний и записал их в новую таблицу. Сравнил id во временной(общей) таблице с таблицей компаний(без дубликатов). SELECT id FROM temp INNER JOIN company ON temp.companytemp = company.cname. Записал id в models.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.