3

Eсть требование, получать файлы JSON, экспортированные из MongoDB, и загружать их в реляционные таблицы. Версия Oracle 12c, то есть есть возможность использовать функционал JSON.

Нет проблем, разобрать CLOB с JSON в таблицы, когда известна структура поступающих данных. Но источник данных непостоянен, и столбцы могут быть добавлены, перемещены или удалены в мгновение ока разработчиками. Нет никакого контроля или влияния на исходную систему, поэтому нельзя получить данные со стабильной структурой.

Что требуется, это взять полученный CLOB и загрузить данные в таблицу на основе структуры источника данных.

Возможно ли это сделать?

Известно, что можно командой JSON_TABLE преобразовать CLOB в табличную форму, но это требует знания структуры данных для загрузки в таблицу. Поскольку это должен быть автоматизированный процесс, то пытаюсь найти решение этой проблемы.


Свободный перевод вопроса Can you parse a JSON String to an Table when you have a volatile data source? от участника @mwdownie

3
  • 1
    ассоциация:stackoverflow.com/q/49513299
    – 0xdb
    23 сен 2021 в 18:40
  • JSON легко разбирается в иерархический EAV.
    – Akina
    23 сен 2021 в 19:16
  • @Akina Буду рад, если вы добавите ответ.
    – 0xdb
    23 сен 2021 в 19:19

1 ответ 1

3

Начиная с версии 12.2, есть простой способ сделать это с помощью JSON Data Guide.

Это позволяет отображать атрибуты документа JSON как виртуальные столбцы в таблице. Чтобы воспользоваться им, необходимо:

  • на столбце с данными должно быть ограничение is json
  • поисковый индекс JSON с параметром dataguide on
create table t (doc clob check (doc is json));

insert into t values ('{"attr1": "value1"}');
    
create search index tsi on t (doc) for json 
    parameters ('dataguide on change add_vc');

Теперь можо добавлять виртуальные столбцы:

begin
    dbms_json.add_virtual_columns ('t', 'doc',
        dbms_json.get_index_dataguide('t', 'doc', dbms_json.format_hierarchical));
end;
/
select * from t;

DOC                   DOC$attr1   
{"attr1": "value1"}   value1 

Что же делает параметр индекса change add_vc? С ним будут добавлены виртуальные столбцы в таблицу на основе вставленных документов при фиксации:

insert into t (doc) values ('{"attr2": "value2"}');
commit;

select * from t;
    
DOC                   DOC$attr1   DOC$attr2   
{"attr1": "value1"}   value1      <null>      
{"attr2": "value2"}   <null>      value2  

Разумеется, что это добавит некоторые временные затраты каждый раз, когда идёт вставка новых данных. Поэтому, может лучше не использовать change add_vc при поступлении новых данных, а запланировать задание на добавление столбцов.

Если в итоге окажется, что много устаревших атрибутов, которые надо игнорировать, то можно легко избавиться от виртуальных столбцов с помощью вызова процедуры:

exec dbms_json.drop_virtual_columns ('t', 'doc');
    
select * from t;
    
DOC
------------------------
{"attr1": "value1"}
{"attr2": "value2"}

Все это работает для скалярных атрибутов. А как насчет массивов?
К сожалению, они не будут отображаться как виртуальные столбцы:

insert into t (doc) values ('{"attr3": ["value3", "value4"]}');
commit;
    
select * from t;
    
DOC
--------------------------------
{"attr1": "value1"}
{"attr2": "value2"}
{"attr3": ["value3", "value4"]}

Тогда можно создать представление, которое отобразит их:

begin 
    dbms_json.create_view ('tv', 't', 'doc',
        dbms_json.get_index_dataguide ('t', 'doc', dbms_json.format_hierarchical));
end;
/
select * from tv;

DOC$attr1   DOC$attr2   DOC$attr3             
value1      <null>      <null>                
<null>      value2      <null>                
<null>      <null>      ["value3","value4"]   

При добавлении новых атрибутов представление не будет автоматически обновляться, но его можно легко перестроить:

insert into t (doc) values ('{"attr4": ["value5", "value6"]}');
commit;

select * from tv;

DOC$attr1   DOC$attr2   DOC$attr3             
value1      <null>      <null>                
<null>      value2      <null>                
<null>      <null>      ["value3","value4"]   
<null>      <null>      <null>  

begin
    dbms_json.create_view ('tv', 't', 'doc',
        dbms_json.get_index_dataguide('t', 'doc', dbms_json.format_hierarchical));
end;
/
select * from tv;

DOC$attr1   DOC$attr2   DOC$attr3             DOC$attr4             
value1      <null>      <null>                <null>                
<null>      value2      <null>                <null>                
<null>      <null>      ["value3","value4"]   <null>                
<null>      <null>      <null>                ["value5","value6"]  

Свободный перевод ответа от участника @Chris Saxon

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.