Продолжение этого вопроса.
По работе мне приходится работать с различными источниками данных и очень часто я сталкиваюсь с данными плохого качества (введенными в систему вручную) и к тому же сохраненными в таблицах не отвечающих правилам 3NF (3х нормальных форм). Т.е. часто несколько сущностей хранятся в одной ячейке.
Например:
email
-------------------------------------
[email protected], [email protected] [email protected]
или
phone
----------------------------------------------------
0172-1234/567, +49123456789 and 089 / 123-4567
Перед моей командой стоит задача причесать и нормализовать эти данные, не меняя модель данных и получить те же данные в следующем виде:
email
-------------------------------------
[email protected]; [email protected]; [email protected]
и
phone
----------------------------------------------------
01721234567; 0049123456789; 0891234567
Функции нормализации отдельных мейлов, телефонов, etc. уже реализованы и протестированы
Для нормализации подобных данных эти CSV-подобные строки сначала нужно распарсить и получить в вертикальном виде (т.е. сделать UNPIVOT
) потом применить функции нормализации и в конце запаковать уже нормализованные значения обратно в CSV строку с одинаковым разделителем ('; '
).
В этом ответе уважаемый 0xdb показал как можно эффективно распарсить подобные данные и сделать UNPIVOT
. На основе функции из ответа я написал следующую универсальную функцию, которая должна уметь нормализовать номера телефонов, WEB адреса и мейлы, применяя различные функции нормализации.
Получился вот такой монстр:
create or replace function normalize_csv_values (
str varchar2,
typ varchar2 := 'phone',
target_sep char := '; '
) return varchar2
as
pattern varchar2(64) := '([^[:space:]].*?)((\s*[,;]\s*)|($))';
tokens varchartab := varchartab ();
s varchar2(96);
c int := 0;
l_res varchar2(1024);
begin
case
when lower(trim(typ)) in ('phone', 'fax')
then pattern := '([^[:space:]].*?)((' || '\s*(,|;|oder|o\.|or|und|and)\s*' || ')|($))';
when lower(trim(typ)) in ('url', 'web', 'link')
then pattern := '([^[:space:]].*?)((' || '[,;]' || ')|($))';
when lower(trim(typ)) in ('email')
then pattern := '([^[:space:]].*?)((' || '[[:space:],;/]' || ')|($))';
end case;
<<split>> loop c := c + 1;
s := regexp_substr (str, pattern, 1, c, null, 1);
exit split when s is null;
if lower(typ) in ('phone', 'fax') then
s := normalize_phone(s, 6, 17, '\s*\W?(,|;|oder|o.|und|or)\W?\s*');
elsif lower(typ) in ('url', 'web', 'link') then
s := normalize_url(s, '^(w{3,4}\.)');
elsif lower(typ) in ('email') then
s := normalize_email(s, '[:space:],;/');
end if;
tokens.extend;
tokens(tokens.last) := s;
end loop;
-- pack parsed CSV values back to CSV form, using specified [target_sep]
select listagg(column_value, target_sep) within group (order by rownum)
into l_res
from table(tokens);
return l_res;
end;
/
Вопрос:
подскажите пожалуйста как можно сделать декомпозицию данной функцию таким образом, чтобы соблюдались принципы
SRP (Single Responsibility Principle)
иDRY (Don't Repeat Yourself)
?
Может можно как-то написать универсальные RegEx'ы и сделать функцию-обертку для вызова необходимой функции нормализации?
normalize_*
? Ведь первая регулярка уже должна вернуть "чистые" токены телефонов, майлов итд.normalize_*
функций. Например главная функция разбивает строку'0172-1234/567, +49123456789 and 089 / 123-4567'
на три отдельных номера:'0172-1234/567'
,'+49123456789'
и'089 / 123-4567'
. Далее функцияnormalize_phone()
превратит каждый из этих номеров в'01721234567'
,'0049123456789'
,'0891234567'
. И для разных сущностей эти функции нормализации (и валидации) сильно отличаются.