0

Итак, нужно организовать неструктурированные данные таким образом, чтобы на основе этих данных можно было построить Entity-Relationship model (модель «сущность — связь») - то есть научиться связывать сущности по одному критерию или их совокупности.

Что имеется в виду. Например, берем организацию: ООО "Орион" - это некая сущность, обладающая набором характеристик:

  1. уникальными свойствами, такими как ИНН 7710646874, ОГРН 1067757813474
  2. неуникальными свойствами, такими как
  • Адрес: 108811, город Москва, километр Киевское шоссе 22-й (п Московский), двлд 6 строение 1, этаж/блок 2/а105
  • Регион регистрации: Москва
  • Вид деятельности : Деятельность в области связи на базе беспроводных технологий (61.20)
  1. другими полезными свойствами, такими как, Генеральный директор, Номер телефона, email

Тут вырисовывается проблема №1 - как организовать эти данные, потому что: С одной стороны, все указанные свойства можно включить в единую сущность - то есть ООО "Орион" и присвоить ей все указанные свойства: ИНН, ОГРН, Адрес, Регион, Вид деятельности, Генеральный директор, Номер телефона, email. С другой же стороны некоторые из этих свойств могут являться самостоятельными сущностями, например Генеральный директор (у него есть, в свою очередь, свои свойства: ИНН, Адрес регистрации, Телефон) и тут вопрос какие свойства выделять в отдельные сущности, а какие нет.

Ситуация осложняется тем, что в классическом случае с организацией мы знаем примерный набор свойств, ей присущих. В случае же с более сложными сущностями, такими как человек - набор свойств может быть неограничен и заранее неопределен, как например, мы можем знать только: Имя, Отчество, Год рождения то, что он болеет за Спартак и Номер телефона.

Допустим, что телефон Организации из первого примера и телефон Человека совпали. И вот тут итог нашей работы - мы выявляем связь между сущностью "Организация" и "Человек" по признаку Телефон. - это идеальный пример

Также, и чаще всего, встречаются абстрактные сущности, тоесть набор характеристик, не позволяющих однозначно определить эту сущность как уникальную. Как например, о Человеке известно: Имя - Антон, год рождения, что он болеет за Зенит и то, что он является постоянным клиентом Азбуки Вкуса на Ленинском проспекте. Так, если мы отберем сначала всех болельщиков Зенит из Москвы, потом из них возьмем клиентов Азбуки Вкуса на Ленинском проспекте с именем Антон - то велика вероятность, что мы найдем именно того самого человека и обновим сущность до уникальной с необходимым набором уникальных характеристик, полное ФИО, полную дату рождения и адрес куда ему доставляют продукты. В крайнем случае у нас будет, скажем 5 таких "Антонов" и уже вручную сможем с этими данными работать.

Исходить надо из того, что у нас неопределенное количество источников данных с неструктурированной информацией - их надо загнать в базу, а далее связать эти данные между собой.

В итоге мы должны решить следующие вопросы:

  1. Можем ли мы достоверно установить связь между сущностями?
  2. Каким образом нам определять "самостоятельность" элементов, как например Телефонный номер - это сущность или свойство?
  3. Можем ли мы дополнить (объединить) неуникальные свойства одной сущностии со свойствами другой неуникальной сущности по принципу совокупности сведений (как в примере с "Антоном") ?
0

1 ответ 1

1

Все озвученные проблемы от того, что заходите не с той стороны к задаче. Данные и связи между ними не находятся в вакууме, и та или иная структура модели определяется тем, как сущности и связи между ними будут использоваться.

Можно найти много атрибутов и связей и в реальном мире и в "сырых" данных, но нужно ли их представлять в модели решается исходя из задачи.

встречаются абстрактные сущности, тоесть набор характеристик, не позволяющих однозначно определить эту сущность как уникальную

Так у вас много источников данных и данный из разных источников могут быть неполны, то вам на уровне модели придется это представлять, т.е. у вас будут сущности типа человек-как-его-видит-источник-N, так как вам нужен будет или алгоритм, который все сливает или UI где пользователь выбирает, что и откуда берется, в любом случае будут бизнес-правила определяющие, как это обрабатывать, а бизнес-правилам нужны модели, на которых они оперируют.

И это все при условии и в предположении, что может быть одна правильная модель человека, в которой можно это представить. А чаще разные модули системы будут свое видение того, что такое человек (тут не буду все пересказывать, читайте про bounded contexts в DDD). В этом случае разные модели будут существовать не только для поддержания слияния данных, но и в процессе их использования дальше. Тогда модели будут вида человек-как-его-видит-модуть-покупок и человек-с-точки-зрения-бухгалтерии.

По-этому, ответ на все вопросы один: в общем случае, т.е. абстрагируясь от того как сущности будут использоваться, не можем, а в конкретной ситуации - конечно можем. Это делается в процессе анализа предметной области и сценариев использования.

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.