Итак, нужно организовать неструктурированные данные таким образом, чтобы на основе этих данных можно было построить Entity-Relationship model (модель «сущность — связь») - то есть научиться связывать сущности по одному критерию или их совокупности.
Что имеется в виду. Например, берем организацию: ООО "Орион" - это некая сущность, обладающая набором характеристик:
- уникальными свойствами, такими как ИНН 7710646874, ОГРН 1067757813474
- неуникальными свойствами, такими как
- Адрес: 108811, город Москва, километр Киевское шоссе 22-й (п Московский), двлд 6 строение 1, этаж/блок 2/а105
- Регион регистрации: Москва
- Вид деятельности : Деятельность в области связи на базе беспроводных технологий (61.20)
- другими полезными свойствами, такими как, Генеральный директор, Номер телефона, email
Тут вырисовывается проблема №1 - как организовать эти данные, потому что: С одной стороны, все указанные свойства можно включить в единую сущность - то есть ООО "Орион" и присвоить ей все указанные свойства: ИНН, ОГРН, Адрес, Регион, Вид деятельности, Генеральный директор, Номер телефона, email. С другой же стороны некоторые из этих свойств могут являться самостоятельными сущностями, например Генеральный директор (у него есть, в свою очередь, свои свойства: ИНН, Адрес регистрации, Телефон) и тут вопрос какие свойства выделять в отдельные сущности, а какие нет.
Ситуация осложняется тем, что в классическом случае с организацией мы знаем примерный набор свойств, ей присущих. В случае же с более сложными сущностями, такими как человек - набор свойств может быть неограничен и заранее неопределен, как например, мы можем знать только: Имя, Отчество, Год рождения то, что он болеет за Спартак и Номер телефона.
Допустим, что телефон Организации из первого примера и телефон Человека совпали. И вот тут итог нашей работы - мы выявляем связь между сущностью "Организация" и "Человек" по признаку Телефон. - это идеальный пример
Также, и чаще всего, встречаются абстрактные сущности, тоесть набор характеристик, не позволяющих однозначно определить эту сущность как уникальную. Как например, о Человеке известно: Имя - Антон, год рождения, что он болеет за Зенит и то, что он является постоянным клиентом Азбуки Вкуса на Ленинском проспекте. Так, если мы отберем сначала всех болельщиков Зенит из Москвы, потом из них возьмем клиентов Азбуки Вкуса на Ленинском проспекте с именем Антон - то велика вероятность, что мы найдем именно того самого человека и обновим сущность до уникальной с необходимым набором уникальных характеристик, полное ФИО, полную дату рождения и адрес куда ему доставляют продукты. В крайнем случае у нас будет, скажем 5 таких "Антонов" и уже вручную сможем с этими данными работать.
Исходить надо из того, что у нас неопределенное количество источников данных с неструктурированной информацией - их надо загнать в базу, а далее связать эти данные между собой.
В итоге мы должны решить следующие вопросы:
- Можем ли мы достоверно установить связь между сущностями?
- Каким образом нам определять "самостоятельность" элементов, как например Телефонный номер - это сущность или свойство?
- Можем ли мы дополнить (объединить) неуникальные свойства одной сущностии со свойствами другой неуникальной сущности по принципу совокупности сведений (как в примере с "Антоном") ?