5

Продолжение этого вопроса.

По работе мне приходится работать с различными источниками данных и очень часто я сталкиваюсь с данными плохого качества (введенными в систему вручную) и к тому же сохраненными в таблицах не отвечающих правилам 3NF (3х нормальных форм). Т.е. часто несколько сущностей хранятся в одной ячейке.

Например:

email
-------------------------------------
[email protected], [email protected] [email protected]

или

phone
----------------------------------------------------
0172-1234/567, +49123456789 and 089 / 123-4567

Перед моей командой стоит задача причесать и нормализовать эти данные, не меняя модель данных и получить те же данные в следующем виде:

email
-------------------------------------
[email protected]; [email protected]; [email protected]

и

phone
----------------------------------------------------
01721234567; 0049123456789; 0891234567

Функции нормализации отдельных мейлов, телефонов, etc. уже реализованы и протестированы Для нормализации подобных данных эти CSV-подобные строки сначала нужно распарсить и получить в вертикальном виде (т.е. сделать UNPIVOT) потом применить функции нормализации и в конце запаковать уже нормализованные значения обратно в CSV строку с одинаковым разделителем ('; ').

В этом ответе уважаемый 0xdb показал как можно эффективно распарсить подобные данные и сделать UNPIVOT. На основе функции из ответа я написал следующую универсальную функцию, которая должна уметь нормализовать номера телефонов, WEB адреса и мейлы, применяя различные функции нормализации.

Получился вот такой монстр:

create or replace function normalize_csv_values (
    str             varchar2,
    typ             varchar2    := 'phone',
    target_sep      char        := '; '
) return varchar2
as
    pattern     varchar2(64) := '([^[:space:]].*?)((\s*[,;]\s*)|($))';
    tokens      varchartab := varchartab ();
    s           varchar2(96);
    c           int := 0;
    l_res       varchar2(1024);
begin
    case
        when lower(trim(typ)) in ('phone', 'fax')
            then pattern := '([^[:space:]].*?)((' || '\s*(,|;|oder|o\.|or|und|and)\s*' || ')|($))';
        when lower(trim(typ)) in ('url', 'web', 'link')
            then pattern := '([^[:space:]].*?)((' || '[,;]' || ')|($))';
        when lower(trim(typ)) in ('email')
            then pattern := '([^[:space:]].*?)((' || '[[:space:],;/]' || ')|($))';
    end case;
    <<split>> loop c := c + 1;
        s := regexp_substr (str, pattern, 1, c, null, 1);
        exit split when s is null;
        if lower(typ) in ('phone', 'fax') then
            s := normalize_phone(s, 6, 17, '\s*\W?(,|;|oder|o.|und|or)\W?\s*');
        elsif lower(typ) in ('url', 'web', 'link') then
            s := normalize_url(s, '^(w{3,4}\.)');
        elsif lower(typ) in ('email') then
            s := normalize_email(s, '[:space:],;/');
        end if;
        tokens.extend;
        tokens(tokens.last) := s;
    end loop;
    -- pack parsed CSV values back to CSV form, using specified [target_sep]
    select listagg(column_value, target_sep) within group (order by rownum)
    into l_res
    from table(tokens);
    return l_res;
end;
/

Вопрос:

подскажите пожалуйста как можно сделать декомпозицию данной функцию таким образом, чтобы соблюдались принципы SRP (Single Responsibility Principle) и DRY (Don't Repeat Yourself)?

Может можно как-то написать универсальные RegEx'ы и сделать функцию-обертку для вызова необходимой функции нормализации?

11
  • Интересный вопрос, но ищя рещение для него, не будет ли нарушен самый главный принцип: never touch a running system?
    – 0xdb
    Commented 21 апр. 2021 в 20:52
  • Не совсем понятно, что делают отдельные функции normalize_*? Ведь первая регулярка уже должна вернуть "чистые" токены телефонов, майлов итд.
    – 0xdb
    Commented 21 апр. 2021 в 21:14
  • 1
    @0xdb, не трогать не получается т.к. появляются новые требования, приходится исправлять баги и т.д. И по причине того, что функция делает слишком много всего и не соответствует указанным в вопросе принципам, часто при исправлении одного бага вносятся другие. Commented 21 апр. 2021 в 21:21
  • @0xdb, используемые в главной функции RegEx'ы позволяют разделить CSV-подобные строки на отдельные сущности. Далее эти отдельные сущности нормализуются и валидируются при помощи normalize_* функций. Например главная функция разбивает строку '0172-1234/567, +49123456789 and 089 / 123-4567' на три отдельных номера: '0172-1234/567', '+49123456789' и '089 / 123-4567'. Далее функция normalize_phone() превратит каждый из этих номеров в '01721234567', '0049123456789', '0891234567'. И для разных сущностей эти функции нормализации (и валидации) сильно отличаются. Commented 21 апр. 2021 в 21:27
  • 1
    Давайте продолжим обсуждение в чате.
    – 0xdb
    Commented 21 апр. 2021 в 23:07

3 ответа 3

5

Предложение для реализации.

Вынести из всех функций шаблоны регулярных выражений в отдельную таблицу:

create table normalizerconf (tabname, colname, ty, splitpatt, rmpatt) as
    select 'data1', 'col1', 'phone', '(.*?)((,\s+)|($))', '\D+' from dual  
/

Тогда рабочий запрос будет выглядеть так (на db<>fiddle):

create table data1 (id, col1) as
    select 1, '123/456789, 032-156789' from dual
/

with 
function getphonelist (
    col varchar2, splitpatt varchar2, rmpatt varchar2) return varchar2 is
begin
    return NormalizePhone (col, splitpatt, rmpatt).join();
end;
select d.col1, getphonelist (col1, splitpatt, rmpatt) result
from data1 d
cross join normalizerconf c
where c.tabname = 'data1' and colname = 'col1'
/

COL1                   RESULT                
---------------------- ----------------------
123/456789, 032-156789 123456789; 032156789  

Создать базовый пользовательский тип, для каждого спец. вида данных свой унаследованный тип:

create or replace type Normalizer as object (
    tokens tokenList,
    member procedure split (str varchar2, pattern char), -- return tokenList,
    not instantiable member procedure normalize (rmpatt char),
    member function join (delimiter char := '; ') return varchar2
) not instantiable not final
/
create or replace type NormalizePhone under Normalizer (
    constructor function NormalizePhone (
        str varchar2, splitpatt char, rmpatt char) return self as result,
    overriding member procedure normalize (rmpatt char) -- return tokenList,
) instantiable final
/

Пример реализации типов:

create or replace type body Normalizer as
    member procedure split (str varchar2, pattern char) is
        s varchar2(96);
        c int := 0;
    begin
        <<split>> loop c := c + 1;
            s := regexp_substr (str, pattern, 1, c, null, 1);
            exit split when s is null;
            self.tokens.extend;
            self.tokens(tokens.last) := s;
        end loop;
    end split;
    member function join (delimiter char := '; ') return varchar2 is
        ret varchar2 (32767);
    begin
        for i in 1..self.tokens.count loop 
            ret := ret||tokens(i)||delimiter; end loop;
        return rtrim (ret, delimiter);
    end join;
end;
/
create or replace type body NormalizePhone as
    constructor function NormalizePhone (
        str varchar2, splitpatt char, rmpatt char) return self as result is
    begin
        self.tokens := tokenList(); 
        self.split (str, splitpatt);
        normalize (rmpatt);
        return;
    end;
    overriding member procedure normalize (rmpatt char) is
    begin 
        for i in 1..self.tokens.count loop
            self.tokens(i) := regexp_replace (self.tokens(i), rmpatt);
        end loop;
    end;
end;
/
2
  • 1
    @MaxU Пример теперь рабочий. Попробуйте, проверте на реальных данных.
    – 0xdb
    Commented 23 апр. 2021 в 8:55
  • 1
    спасибо! буду пробовать на реальных данных на следующей неделе) Commented 23 апр. 2021 в 9:04
5
+100

Так будет выглядеть решение с функциями в пакете.

Конечный запрос с данными из этого ответа, будет выглядеть так:

with function getphonelist (
    col varchar2, splitpatt varchar2, rmpatt varchar2) return varchar2 is
begin
    return
        packNormalizer.join (
            packNormalizer.normalize (
                packNormalizer.split (col, splitpatt), rmpatt));
end;
select d.col1, getphonelist (col1, splitpatt, rmpatt) result
from data1 d
cross join normalizerconf c
where c.tabname = 'data1' and colname = 'col1'
/

COL1                   RESULT                          
---------------------- --------------------------------
123/456789, 032-156789 123456789; 032156789            

Реализация пакета (на db<>fiddle):

create or replace package packNormalizer as 
    function split (str varchar2, pattern char) return tokenList;
    function normalize (tl tokenList, rmpatt char) return tokenList;
    function join (tokens tokenList, delimiter char := '; ') return varchar2;
end;
/
create or replace package body packNormalizer as
    function split (str varchar2, pattern char) return tokenList is
        tokens tokenList := tokenList ();
        s varchar2(96);
        c int := 0;
    begin
        <<split>> loop c := c + 1;
            s := regexp_substr (str, pattern, 1, c, null, 1);
            exit split when s is null;
            tokens.extend;
            tokens(tokens.last) := s;
        end loop;
        return tokens;
    end split;
    function normalize (tl tokenList, rmpatt char) return tokenList is
        tokens tokenList := tl;
    begin 
        for i in 1..tokens.count loop
            tokens(i) := regexp_replace (tokens(i), rmpatt);
        end loop;
        return tokens;
    end; 
    function join (tokens tokenList, delimiter char := '; ') return varchar2 is
        ret varchar2 (32767);
    begin
        for i in 1..tokens.count loop ret := ret||tokens(i)||delimiter; end loop;
        return rtrim (ret, delimiter);
    end join;
end;
/
3

Пока сделал декомпозицию, вынеся логику для получения RegEx и для нормализации различных сущностей в отдельные функции.

create or replace function normalize_csv_values (
    str             varchar2,
    typ             varchar2    := 'phone',
    target_sep      char        := '; '
) return varchar2
as
    s           varchar2(96);
    n           int := 0;
    pattern     varchar2(64)    := '\s*[,;]\s*';
    tokens      varchartab      := varchartab ();
    l_re_pref   varchar2(64)    := '([^[:space:]].*?)((';
    l_re_suff   varchar2(64)    := ')|($))';
    l_type      varchar2(128)   := lower(trim(typ));
    l_res       varchar2(4096);
begin
    -- normalizes CSV-like strings in the following way:
    --  1. in a loop split [str] by the separator that is returned from "get_csv_split_re_pattern()"
    --      1.1 get a single splitted value
    --      1.2 normalize it, using "normalize_value(val, l_type)"
    --      1.3 append normalized value to collection [tokens]
    --  2. pack values from [tokens] collection back to CSV string using [target_sep] separator
    --  3. return resulting CSV string

    -- get split RegEx for the [typ] entity type
    pattern := l_re_pref || get_csv_split_re_pattern(l_type) || l_re_suff;

    -- loop through values in the CSV string
    <<split>> loop n := n + 1;
        -- get N-th value from the CSV string
        s := regexp_substr (str, pattern, 1, n, null, 1);
        exit split when s is null;
        s := normalize_value(s, l_type);
        tokens.extend;
        tokens(tokens.last) := s;
    end loop;

    -- pack parsed CSV values back to CSV form, using specified [target_sep]
    select listagg(column_value, target_sep) within group (order by rownum)
    into l_res
    from table(tokens);

    return l_res;
end;
/
8
  • 1
    listagg не стоит вызывать, это вего лишь один цикл: for i in 1..tokens.count loop l_res := l_res||tokens(i)||target_sep; end loop; returm rtrim(l_res, target_sep);
    – 0xdb
    Commented 22 апр. 2021 в 19:39
  • 1
    Без сомнения, не будет переключения контекста. Никакого order by, в отличае от нормальных таблиц, во вложеных порядок сохраняется.
    – 0xdb
    Commented 22 апр. 2021 в 19:45
  • 1
    @0xdb, по ощущениям работает немного быстрее чем вариант с listagg(). Может добавите как ответ? Commented 22 апр. 2021 в 20:18
  • 1
    Лучше попозже, и пополнее ))
    – 0xdb
    Commented 22 апр. 2021 в 21:27
  • 1
    Ну да, tokens теперь не нужны. В предыдущем вопросе была задача, вернуть таблицу.
    – 0xdb
    Commented 22 апр. 2021 в 22:10

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.