Есть мультибайтовая строка, длина её меряется в мегабайтах, нужно считывать в цикле посимвольно, как считать один символ с мультибайтовой строки?(не используя uchar.h)
2 ответа
Берем очередной байт из строки. Предполагая, что это первый байт utf-8 символа
unsigned char b=...; // тут проверяемый байт (обязательно unsigned !!!)
if(b<=0x7F) это однобайтовый символ, можем выдавать его и проверять следующий
else if(b>=0xF8) ... это не unicode символ, или более новый стандарт с более чем 4х байтовыми символами
else if(b>=0xF0) ... это 4х байтовый символ. т.е. берем еще следующие 3 байта
else if(b>=0xE0) ... это 3х байтовый символ. т.е. берем еще следующие 2 байта
else if(b>=0xC0) ... это 2х байтовый символ. т.е. берем еще следующий байт
else ... b - совершенно точно один из серединных байт символа, мы потеряли первый байт
Если символ длиной более 1 байта, то все последующие байты символа должны быть в диапазоне b>=0x80 && b<0xC0
Написал по стандарту RFC3629, надеюсь нигде не ошибся. Можно еще посмотреть код готовых библиотек.
Эх. Обожаю делать велосипеды, вот накидал пример, с разбором кодов символов. Получаемые коды для русских букв сверил с выдаваемых функцией Javascript charCodeAt
- совпали. Внимание: собрано на коленке. нет проверок, что строка закончилась в середине символа, при неправильной unicode строке возможен выход за пределы массива ! Трехбайтные и четырехбайтные символы так же не проверены, т.к. не знаю китайского. Так же нет проверки 2го и последующего байта unicode на корректность, тупо сбрасываем старшие 2 бита и используем.
#include <stdio.h>
#include <string.h>
unsigned char *s="Test string. Тестовая строка";
int main()
{
int len=strlen(s);
int i;
int sim_code; // Сюда собираем код очередного символа
for(i=0;i<len;i++)
{
if(s[i]<=0x7F) { sim_code=s[i]; }
else if(s[i]>=0xF8) { printf("Не unicode 6.0 (RFC3629) символ %X",s[i]); continue; }
else if(s[i]>=0xF0) { sim_code=( ((s[i]&0x07)<<18) | ((s[i+1]&0x3F)<<12) | ((s[i+2]&0x3F)<<6) | (s[i+3]&0x3F) ); i+=3; }
else if(s[i]>=0xE0) { sim_code=( ((s[i]&0x0F)<<12) | ((s[i+1]&0x3F)<<6) | (s[i+2]&0x3F) ); i+=2; }
else if(s[i]>=0xC0) { sim_code=( ((s[i]&0x1F)<<6) | (s[i+1] & 0x3F) ); i++; }
else { printf("Пропущен первый байт unicode символа !!! (%X)",s[i]); continue; }
printf("%d ",sim_code);
}
}
Универсальный способ получения длины текущего символа:
unsigned char b=s[i]; // Берем первый байт символа
int n; // длина символа
if(b<=0x7F) n=1; ... это однобайтовый символ, работаем с ним как есть
else
for(n=0; b & 0x80; n++) b<<=1;
// после цикла n=полной длине в байтах, включая текущий байт
-
1
-
Спасибо, смысл понял, погуглю ещё немного "utf-8 decode" и т.п. и думаю уже выстроется единая картинка в голове. 14 дек 2015 в 22:42
-
-
С трёхбайтовыми работает прекрасно, ну, а четыхбайтные мне не нужны. Буду дальше эксперементировать, спасибо. 14 дек 2015 в 22:54
-
Вообще-то utf-8 позволяет кодировать в 6 байтах все целые до 2^31. Я бы не стал сразу делать проверку на < 0xF8– avp14 дек 2015 в 23:25
Вот незамысловатая функция, которую можно использовать в своей программе на C/C++ для определения "размера символа" закодированного в UTF-8.
/*
Проверяет является ли байт началом символа в UTF-8
Возвращает
-1 - недопустимый символ
n > 0 UTF-8 символ длиной n байт
*/
int
utf8_chrlen (const char *utf)
{
unsigned int ucs = *utf & 0xFF;
if (ucs < 128)
return 1;
if ((ucs & 0xC0) == 0x80 || ucs == 0xFF || ucs == 0xFE)
return -1;
int n = 5;
while (n && (ucs & (1<<n)))
n--;
return 7-n;
}
1
- берете еще 3 байта. Иначе, если 3 - то 2, иначе если 2 - то 1. А вот если старший бит есть и следующий за ним бит0
- то дела плохи, вы каким то образом оказались в середине символа. Вопрос лишь в том, что дальше с символами делать, если надо получить их нормальные коды, то еще поработать с битами придется