2

Возможно это очень глупый вопрос, но я что-то не нашел функцию, которая возвращает код символа UTF-8.

Я знаю что мы можем получить код ASCII следующим кодом:

char our_symbol = 'v';
int number;
number = (int) our_symbol;

Как получить код из UTF-8?

Уточнения: Есть символ кодовую последовательность, которой мы хотим узнать.

Допустим это символ 'а' - кириллический символ.

Если перевести его байты в десятичный код то получим 1байт - 208, 2байт - 176

11
  • Вы имеете в виду номер Unicode? UTF8 — лишь метод кодировки символов Unicode.
    – VladD
    24 ноя 2016 в 8:11
  • @VladD нет интересует код символа в UTF-8, я понимаю что символы в этой кодировке могут быть многобайтными, поэтому и спрашиваю как узнать код символа в UTF-8
    – MaximPro
    24 ноя 2016 в 8:13
  • Откуда берете символы? Вам нужно один раз узнать код одного симовла или вам нужно обрабатывать байтовый поток этих символов и находить их коды? 24 ноя 2016 в 8:17
  • 2
    @MaximPro: Ну, нет такого понятия «код символа в UTF8». Есть номер Unicode codepoint и есть байты, которыми этот самый codepoint кодируется в UTF8.
    – VladD
    24 ноя 2016 в 8:17
  • 2
    Опишите вашу задачу шире. Мне кажется это Ошибка XY 24 ноя 2016 в 8:19

3 ответа 3

6

Вот Вам простой и рафинированный вариант:

std::string utf8Symbol = u8"Ф";
for(const auto& byte : utf8Symbol)
    std::cout << std::hex << (byte & 0xFF) << ' ';
std::cout << '\n';

Отличий от однобайтовых кодировок тут практически нет: если у Вас уже есть метод выделения отдельных символов, Вы просто берёте каждый из них и извлекаете все байты, поочерёдно.

13
  • std::string utf8Symbol = u8"Ф"; - это опечатка в конце?
    – MaximPro
    24 ноя 2016 в 8:31
  • @MaximPro, в смысле? Нет там опечаток.
    – ixSci
    24 ноя 2016 в 8:32
  • 1
    @MaximPro, это значит строковый литерал в utf-8 кодировке.
    – ixSci
    24 ноя 2016 в 8:33
  • 1
    @MaximPro, у меня есть статья на эту тему.
    – ixSci
    24 ноя 2016 в 8:35
  • 2
    @Qwertiy, потому что std::string вообще ничего не приводит. std::string это лишь немногим более, чем массив char. Вопреки своему имени, std::string не является строкой, в том смысле, что мы все привыкли.
    – ixSci
    24 ноя 2016 в 9:16
4

http://ideone.com/5IdxoG

#include <cstdio>

int main()
{
    const char *str = u8"Я строка в UTF-8. がダウンロードできません";

    printf("%s", str);

    for (unsigned char *p=(unsigned char *)str; *p; ++p)
        printf(*p >> 6 == 2 ? " %.02X" : "\n%.02X", *p);

    return 0;
}

Здесь используется тот факт, что для всех байт, кроме первого, два старших бита равны 10.

4
  • Круто, но хотелось бы комментарий к коду *p >> 6 == 2.
    – VladD
    24 ноя 2016 в 10:01
  • @VladD, википедия: "Для остальных октетов два старших бита равны 10 (10xxxxxx)." :)
    – Qwertiy
    24 ноя 2016 в 10:02
  • Угу, может, внести в ответ?
    – VladD
    24 ноя 2016 в 10:07
  • 1
    @VladD, добавил.
    – Qwertiy
    24 ноя 2016 в 10:14
2

Ну и в дополнение UCS-2 -> UTF8 -> Коды :)

Ведь хранить строки в коде можно по разному ... http://ideone.com/bkNiH5 :

#include <iostream>
#include <string>
#include <locale>
#include <codecvt>
#include <iomanip>

int main() {
    // широкие символы
    std::wstring wstr = L"Я строка в UCS-2. がダウンロードできません";
    // широкие символы в UTF-8
    std::wstring_convert<std::codecvt_utf8<wchar_t>> conv;
    std::cout << "Chr | UTF-8\n============\n";
    for(const auto &c:wstr) {
      std::string u8str = conv.to_bytes(c);        
      std::cout << u8str << "   : ";  
      for(const uint8_t &i:u8str) 
      std::cout << std::hex << std::setfill('0') << std::setw(2) << static_cast<int>(i) << ' ';
      std::cout << std::dec << '\n';  
    }
    return 0;
}
2
  • Нет никакой гарантии, что литерал L"" даст UCS-2, к примеру, в gcc sizeof(wchar_t) == 4, поэтому, наиболее вероятная кодировка там UCS-4. Используйте u"", если гарантировано хотите получить UCS-2
    – ixSci
    24 ноя 2016 в 10:32
  • Согласен, как решение - использовать std::u32string. Но, имхо, надо выбирать от ситуации - UTF-8 дает компактность представления, UCS-2/UCS-4 дает большую скорость обработки. Все и сразу - не в нашей жизни :)
    – Majestio
    24 ноя 2016 в 10:50

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.