1

Есть огромная база в excel. Знаю, что можно тупо сохранить файл в csv и импортировать его в базу данных mysql. Но мне нужно разбить её на части. Условно линия выглядит так: производитель, имя товара, его характеристики. В таблице около 20к записей. Производитель и товар могут дублироваться много раз имея разные характеристики. Я хочу разбить это на три таблицы в mysql - company, product, characteristic. Для оптимизации убрать дубликаты - производителя и имени товара. Понимаю, что мне нужно привязать по id характеристики товара к названию товара, а название товара привязать по id к производителю. Сразу хочу сказать, что в mysql не силен. Выгрузить таблицу я могу. Как мне привязать всё по id между собой? Прошу пример, как это можно сделать с ссылкой на материал. Заранее спасибо.

3 ответа 3

1

Как мне привязать всё по id между собой?

Покажу на примере двух таблиц.

Пусть есть некий набор данных, вываленный в file.csv.

Создаём под них временную таблицу, и импортируем:

LOAD DATA INFILE "file.csv"
INTO TABLE temptable (full_fieldset);

Далее начинаем заполнять рабочие таблицы данными от корня дерева связей.

CREATE TABLE maintable (id_main SERIAL PRIMARY KEY, 
                        main_fieldset);

INSERT INTO maintable (main_fieldset)
SELECT DISTINCT main_fieldset FROM temptable;

После её заполнения дубли отсеяны, и каждая уникальная запись получила свой уникальный синтетический индекс.

Теперь заполняем зависимую таблицу. Данные берём из временной, а индекс для связи - из ведущей:

CREATE TABLE slavetable (id_slave SERIAL PRIMARY KEY, 
                         slave_fieldset,
                         id_main BIGINT,
                         FOREIGN KEY (id_main) REFERENCES maintable (id_main));

INSERT INTO slavetable (slave_fieldset, id_main)
SELECT temptable.fieldset, maintable.id_main
FROM temptable
NATURAL JOIN maintable;

И, собственно, всё...

Для упрощения процесса программирования весьма желательно соблюдать уникальность имён полей в пределах рабочего набора таблиц и соответствие имён полей во временной и рабочих таблицах. Т.е. в таблицах назначения одноимёнными являются только поля, по которым таблицы связываются, все остальные уникальны. Это позволяет использовать NATURAL JOIN и не составлять длинный список равенств в секции ON.

6
  • Последний раз работал 4 года назад с mysql, но твой код явно не то, как мне кажется. Выгрузил всю таблицу excel в таблицу temp. В базе создаю новую таблицу company(cid,cname) - выгружаю в неё список компаний без дубликатов. А вот выгрузить модели из temp в таблицу models(mid, mname, companyid) с id из company не получается. Надо же сравнивать данные из temp и company, а потом уже записывать в models. Верно?
    – IS SR
    29 дек 2019 в 20:48
  • Ну я именно это и пишу... что здесь "не то"? Вроде процесс отработан, не на одном массиве данных пробован...
    – Akina
    29 дек 2019 в 20:50
  • @ISSR Если у тебя три таблицы образуют "штаны" (производитель -> характеристика <- товар), то товар и производитель заполняются вообще независимо, а если цепь (производитель -> товар -> характеристика), то заполнение идёт строго по цепи, на каждом следующем шаге используются занесённые в таблицы сведения предыдущих шагов.
    – Akina
    29 дек 2019 в 20:55
  • Да, у меня строгая цепь должна быть. Вот у меня таблица models(mid, mname, companyid). mid автоматически генерируется. mname я беру из таблицы temp, а companyid я беру уже из company(cid). INSERT INTO models(mname, companyid) SELECT temp.modeltemp, company.cid FROM temp NATURAL JOIN company; Ну это же явно не то)Он делает много дубликатов, id не совпадают. Я извиняюсь, но знаний с того времени у меня вообще не осталось)
    – IS SR
    29 дек 2019 в 21:18
  • Если я правильно понимаю, то нужно проверить к какой компании принадлежит модель в таблице temp(companytemp, modelstemp), потом сравнить имена компаний из таблицы temp(companytemp) с company(cname) и назначить id в таблице models(companyid) из company(cid).
    – IS SR
    29 дек 2019 в 22:46
0

До загрузки в БД вам надо привести данные в Excel. Это два разных процесса - нормализация данных и загрузка в MySql. Нормализировать данные в Excel можно таким образом:

  1. Копируете колонку с производителями на другой лист - будущая таблица производителей;
  2. Далее выделяете всю колонку с именами производителей и вызываете функцию "удалить дубликаты" - так вы получаете список уникальных значений производителей;
  3. Добавляете к производителям колонку ID, это просто номер по порядку каждого производителя;
  4. В вашей основной таблице добавляете колонку для идентификатора производителя, куда подтягиваете идентификатор с созданного ранее листа при помощи функции ВПР;
  5. Выделите эту колонку, скопируйте и сделайте "вставить только значения" - теперь вместо формул ВПР у вас значения идентификаторов производителей товаров;
  6. Удалите столбец с именами производителей.

Повторите этот алгоритм для всех полей которые хотите вынести.

4
  • Наоборот - сначала сырые данные импортировать в MySQL, а там нормализовать из временной таблицы в постоянные,- намного проще. И уж во всяком случае ручной работы точно будет меньше.
    – Akina
    26 дек 2019 в 4:39
  • Я исходил из этого: Сразу хочу сказать, что в mysql не силен.
    – Z.John
    26 дек 2019 в 5:24
  • Ну... да, позиция имеет право на существование... хотя автору я бы посоветовал развеивать своё незнание, а не лелеять его. А что может быть лучше для изучения предмета, чем реальная задача?
    – Akina
    26 дек 2019 в 5:26
  • К слову, нет смысла удалять поля, как и нет смысла генерить кучу отдельных CSV. LOAD DATA INFILE допускает обработку, включая как игнорирование части полей при импорте, так и вычисление неких выражений для помещения в поля записи на основе имеющихся значений. Так что достаточно: вынос на другой лист, сжатие, нумерация, ВПР, спецзамена-значения, очистка/удаление темп-листа.
    – Akina
    26 дек 2019 в 5:29
0

Убрал дубликаты компаний и записал их в новую таблицу. Сравнил id во временной(общей) таблице с таблицей компаний(без дубликатов). SELECT id FROM temp INNER JOIN company ON temp.companytemp = company.cname. Записал id в models.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.