0

Необходимо прочитать строку из файла и конвертировать ее из UTF-8 в UTF-16LE вручную. Для этого, как я понимаю, нужно сначала ее перевести в UCS. По заданию необходимо сделать это вручную. Гуглил, но ничего толкового не нашел, может, правда, проглазел. Кто-нибудь может подсказать алгоритм для перевода в UCS?

1
  • 2
    Может Вам сначала требуется перевести UTF-8 в UTF-32? Формат UTF-8 описан тут, а формат UTF-16LE, с примерами преобразования в UTF-32 и обратно - здесь.
    – Alekcvp
    14 апр 2016 в 19:29

2 ответа 2

1

Если речь идёт о BMP (Basic multilingual plane), то UTF-16 фактически становится UCS-2, и можно просто прочитать code point из UTF-8 и закодировать его сразу в символ UTF-16. Если это BMP, то размер символа не превысит 16 бит. Если же нужно обрабатывать всю таблицу юникода, сперва нужно закодировать в UTF-32, просто прочитав значение code point из UTF-8, а потом UTF-32 перекодировать в UTF-16, для символов больше, чем 0xD7FF создавая суррогатные пары.

Алгоритм действий такой:

  1. Читаем первый символ
  2. Узнаём длину code point:

    constexpr const uint8_t utf8_length_data[256] = {
        0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
        1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
        1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
        1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
        1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
        1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
        2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,
        3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 3, 4, 4, 4, 4, 4, 4, 4, 4, 5, 5, 5, 5, 6, 6, 1, 1
    };
    
    inline constexpr uint8_t utf8DecodeLength(uint8_t c) {
        return utf8_length_data[c];
    }
    
  3. Узнаём маску значения для первого байта (для остальных всегда 0x3f):

    static constexpr inline uint8_t utf8DecodeMask(uint8_t codePointLength) {
        switch (codePointLength) {
            case 1: return 0x7f; break;
            case 2: return 0x1f; break;
            case 3: return 0x0f; break;
            case 4: return 0x07; break;
            case 5: return 0x03; break;
            case 6: return 0x01; break;
        }
        return 0;
    }
    
  4. Вычисляем значение code point, обрабатывая по байтово codePointLength символов исходной строки.

    static constexpr inline char32_t utf8Decode(string str, size_t offset, uint8_t codePointLength, uint8_t mask) {
        char32_t ret = str[offset] & mask;
        for (uint8_t c = 1; c < codePointLength; ++c) {
            ret <<= 6; ret |= (str[offset + c] & 0x3f);
        }
        return ret;
    }
    
  5. Если возвращаем UCS-2, то просто отбрасываем два старших байта и пишем в результат два младших.

  6. Если возвращаем полный UTF-16, то проверяем, если значение меньше или равно 0xD7FF, сразу пишем его в результат, в противном случае - создаём суррогатную пару из двух символов UTF-16, это просто, можно глянуть в википедии.

P.S. Прошу прощения за код на C++, плохо знаю Java.

2
  • Почему у меня отступы перед кодом не работали?
    – SBKarr
    15 апр 2016 в 16:31
  • Это особенность редактора. Если вы добавляете код в список, необходимо использовать восемь пробелов вместо четырех. 16 апр 2016 в 8:06
0

Читаешь строки из файлового потока и кодируешь байты из твоей строки в UTF-8 в UTF -16LE и создаешь новую строку. Новая строка будет в кодировке UTF - 16LE. Пример смены кодировки строки: String g2 = "text in UTF-8"; String decode = new String(g2.getBytes("UTF-16LE"));

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.