5

Есть мультибайтовая строка, длина её меряется в мегабайтах, нужно считывать в цикле посимвольно, как считать один символ с мультибайтовой строки?(не используя uchar.h)

4
  • Да unicode codepoint. 14 дек 2015 в 19:16
  • Глянул википедию ru.wikipedia.org/wiki/UTF-8 в общем ничего особо сложного. проверяете первый символ, если 4 старших бита 1 - берете еще 3 байта. Иначе, если 3 - то 2, иначе если 2 - то 1. А вот если старший бит есть и следующий за ним бит 0 - то дела плохи, вы каким то образом оказались в середине символа. Вопрос лишь в том, что дальше с символами делать, если надо получить их нормальные коды, то еще поработать с битами придется
    – Mike
    14 дек 2015 в 20:07
  • Википедию первым делом и прочитал, принцип кодирования понял но я мягко говоря не особо хорошо умею работать с байтами, декодировать и т.п. думал есть готовые варинаты, которые получше моих велосепедов. 14 дек 2015 в 20:33
  • Если не хотите своих велосипедов, то читайте man mbsrtowcs и man mbrtowc
    – avp
    14 дек 2015 в 21:08

2 ответа 2

7

Берем очередной байт из строки. Предполагая, что это первый байт utf-8 символа

unsigned char b=...; // тут проверяемый байт (обязательно unsigned !!!)
if(b<=0x7F) это однобайтовый символ, можем выдавать его и проверять следующий
else if(b>=0xF8) ... это не unicode символ, или более новый стандарт с более чем 4х байтовыми символами
else if(b>=0xF0) ... это 4х байтовый символ. т.е. берем еще следующие 3 байта
else if(b>=0xE0) ... это 3х байтовый символ. т.е. берем еще следующие 2 байта
else if(b>=0xC0) ... это 2х байтовый символ. т.е. берем еще следующий байт
else ... b - совершенно точно один из серединных байт символа, мы потеряли первый байт

Если символ длиной более 1 байта, то все последующие байты символа должны быть в диапазоне b>=0x80 && b<0xC0

Написал по стандарту RFC3629, надеюсь нигде не ошибся. Можно еще посмотреть код готовых библиотек.

Эх. Обожаю делать велосипеды, вот накидал пример, с разбором кодов символов. Получаемые коды для русских букв сверил с выдаваемых функцией Javascript charCodeAt - совпали. Внимание: собрано на коленке. нет проверок, что строка закончилась в середине символа, при неправильной unicode строке возможен выход за пределы массива ! Трехбайтные и четырехбайтные символы так же не проверены, т.к. не знаю китайского. Так же нет проверки 2го и последующего байта unicode на корректность, тупо сбрасываем старшие 2 бита и используем.

#include <stdio.h>
#include <string.h>

unsigned char *s="Test string. Тестовая строка";
int main()
 {
  int len=strlen(s);
  int i;
  int sim_code; // Сюда собираем код очередного символа
  for(i=0;i<len;i++)
   {
    if(s[i]<=0x7F)      { sim_code=s[i]; }
    else if(s[i]>=0xF8) { printf("Не unicode 6.0 (RFC3629) символ %X",s[i]); continue; }
    else if(s[i]>=0xF0) { sim_code=( ((s[i]&0x07)<<18) | ((s[i+1]&0x3F)<<12) | ((s[i+2]&0x3F)<<6) | (s[i+3]&0x3F) ); i+=3; }
    else if(s[i]>=0xE0) { sim_code=( ((s[i]&0x0F)<<12) | ((s[i+1]&0x3F)<<6) | (s[i+2]&0x3F) ); i+=2; }
    else if(s[i]>=0xC0) { sim_code=( ((s[i]&0x1F)<<6) | (s[i+1] & 0x3F) ); i++; }
    else { printf("Пропущен первый байт unicode символа !!! (%X)",s[i]); continue; }
    printf("%d ",sim_code);
   }
 }

Универсальный способ получения длины текущего символа:

unsigned char b=s[i]; // Берем первый байт символа
int n; // длина символа
if(b<=0x7F) n=1; ... это однобайтовый символ, работаем с ним как есть
else
 for(n=0; b & 0x80; n++) b<<=1;
 // после цикла n=полной длине в байтах, включая текущий байт
14
  • 1
    @Виталий, кое-что полезное по этой теме можно посмотреть в ucsutf.c и ucsutf.h
    – avp
    14 дек 2015 в 22:39
  • Спасибо, смысл понял, погуглю ещё немного "utf-8 decode" и т.п. и думаю уже выстроется единая картинка в голове. 14 дек 2015 в 22:42
  • @Виталий Обновил ответ, написал рабочий пример
    – Mike
    14 дек 2015 в 22:47
  • С трёхбайтовыми работает прекрасно, ну, а четыхбайтные мне не нужны. Буду дальше эксперементировать, спасибо. 14 дек 2015 в 22:54
  • Вообще-то utf-8 позволяет кодировать в 6 байтах все целые до 2^31. Я бы не стал сразу делать проверку на < 0xF8
    – avp
    14 дек 2015 в 23:25
1

Вот незамысловатая функция, которую можно использовать в своей программе на C/C++ для определения "размера символа" закодированного в UTF-8.

/*
  Проверяет является ли байт началом символа в UTF-8
  Возвращает
  -1 - недопустимый символ 
  n > 0 UTF-8 символ длиной n байт
 */
int
utf8_chrlen (const char *utf)
{
  unsigned int ucs = *utf & 0xFF;

  if (ucs < 128)
    return 1;
  if ((ucs & 0xC0) == 0x80 || ucs == 0xFF || ucs == 0xFE)
    return -1;

  int n = 5;
  while (n && (ucs & (1<<n)))
    n--;
  return 7-n;
}

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.