0

Есть огромная таблица (~4M строк). В ней есть 3 поля:

create table if not exists data
(
    pub integer,
    text text,
    data text
)
;

Поле data представляет собой JSON строки. Запросы в этой таблице выполняются слишком долго и я решил, что пора переделать это поле в поле с типом JSONB (или просто JSON, но лучше JSONB). Я использовал много руководств, например, это. Но проблема в том, что при выполнении первого кода я получаю:

vk=# alter table data alter column data type json using data::json;
ERROR:  invalid input syntax for type json
DETAIL:  Token "owner_id" is invalid.
CONTEXT:  JSON data, line 1: "{"owner_id...

При выполнении первого:

unsupported Unicode escape sequence
  Подробности: Unicode escape values cannot be used for code point values above 007F when the server encoding is not UTF8.
  Где: JSON data, line 1: ...st", "from_id": -100389805, "id": 341695, "text":...

Вот пример строки:

56977566        {"text": "", "reposts": {"count": 0, "user_reposted": 0}, "date": 1512047929, "owner_id": -56977566, "post_type": "post", "likes": {"count": 4, "user_likes": 0, "can_like": 1, "can_publish": 1}, "copy_history": [{"text": "", "id": 122, "date": 1512047011, "owner_id": -134611619, "post_type": "post", "from_id": -134611619, "post_source": {"type": "vk"}, "attachments": [{"photo": {"text": "", "sizes": [{"height": 97, "type": "m", "width": 130, "url": "https://pp.userapi.com/c840431/v840431969/2ab19/lH-bN-Po3IY.jpg"}, {"height": 98, "type": "o", "width": 130, "url": "https://pp.userapi.com/c840431/v840431969/2ab1c/n6PShbOYKyQ.jpg"}, {"height": 150, "type": "p", "width": 200, "url": "https://pp.userapi.com/c840431/v840431969/2ab1d/ROS9hfm2fOw.jpg"}, {"height": 240, "type": "q", "width": 320, "url": "https://pp.userapi.com/c840431/v840431969/2ab1e/a3FjB17-49E.jpg"}, {"height": 383, "type": "r", "width": 510, "url": "https://pp.userapi.com/c840431/v840431969/2ab1f/CA_iZvMG-Rk.jpg"}, {"height": 56, "type": "s", "width": 75, "url": "https://pp.userapi.com/c840431/v840431969/2ab18/YpDd9W98tw0.jpg"}, {"height": 453, "type": "x", "width": 604, "url": "https://pp.userapi.com/c840431/v840431969/2ab1a/JolGqx6gG78.jpg"}, {"height": 480, "type": "y", "width": 640, "url": "https://pp.userapi.com/c840431/v840431969/2ab1b/W64cQiFgYZU.jpg"}], "id": 456239056, "date": 1512047011, "owner_id": -134611619, "album_id": -7, "access_key": "69803b042c79e136dc", "user_id": 100, "post_id": 122}, "type": "photo"}, {"type": "audio", "audio": {"genre_id": 1001, "artist": "\u042d\u043c\u0441\u0438 \u0430\u0440\u0442\u0451\u043c", "id": 456240948, "duration": 25, "owner_id": 2000350710, "title": "\u041e\u0441\u043a\u0432\u0435\u0440\u043d\u0438\u0442\u0435\u043b\u044c", "url": "https://vk.com/mp3/audio_api_unavailable.mp3", "date": 1512047011, "is_hq": false}}]}], "marked_as_ads": 0, "id": 6146, "comments": {"count": 7, "can_post": 1, "groups_can_post": true}, "views": {"count": 762}, "from_id": -56977566, "post_source": {"type": "api"}}

Как я могу избежать эту ошибку и сменить тип этого столбца?

1 ответ 1

1

Оба типа данных и json и jsonb требуют, чтобы значение было правильной JSON структурой (и у обоих типов один и тот же парсер JSON). Если все строки нужного поля являются корректными JSON - то изменение типа через alter table будет успешно. Если какая-то из строк содержит некорректный JSON - вы получите ошибку.

Поэтому вам необходимо исправлять данные.

Проверить корректность данных без блокировки таблицы возможно например запросом:

select data::json from tablename;

Если получаете ошибку - можете добавлять where условия и обходить таблицу хоть по конкретным значения первичного ключа. Функции bool json_is_valid(text) в postgresql нет, поэтому опираться можно на присутствие либо отсутствие ошибки при преобразовании типов. Впрочем, не проблема написать свою:

create or replace function json_is_valid(in_text text) 
returns bool immutable
as $$
declare
    j_data json;
begin
    j_data := (in_text::json);
    return true;
EXCEPTION
    when sqlstate '22000' then return false;
end;
$$ language plpgsql;

И затем запрос вот такого вида покажет все строки, которые postgresql не считает корректным JSON:

select * from tablename where not json_is_valid(data);

Либо, чтобы не создавать функцию, можно обойти таблицу в анонимном блоке кода вот таким запросом:

do $$ declare
    t_data text; pk int; j_data json;
begin
for pk, t_data in select id, data from tablename
loop
    begin
        j_data := (t_data::json);
    EXCEPTION
       when sqlstate '22000' then raise notice 'invalid json in %', pk;
    end;
end loop;
end
$$ language plpgsql;

В результате будут отображены в notice все id невалидных строк.

2
  • Хорошо, я удрал проблемные JSON'ы. Но как быть с ошибкой при преобразовании в JSONB(ERROR: unsupported Unicode escape sequence DETAIL: Unicode escape values cannot be used for code point values above 007F when the server encoding is not UTF8. CONTEXT: JSON data, line 1: ...st", "from_id": -100389805, "id": 341695, "text":...)?
    – vladF
    6 окт 2018 в 10:44
  • Всё, решил проблему сменой кодировки базы на utf8, спасибо
    – vladF
    6 окт 2018 в 12:31

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.