2

К примеру, UTF-8 символ Я закодирован в 1101 0000 1010 1111, а после декодирования получается code point 1 0000 10 1111. Так вот, кто отвечает за превращение этого code point в символ и отрисовку на экране? То есть, в windows и linux есть таблицы Unicode по которым ищется этот code point и потом отрисовывается glyph ему соответствующий? В Linux все в UTF-8, а в windows в api функции нужно передавать UTF-16 c сурогатными парами?

1
  • 1
    Code point никуда дальше не переводится. 1 0000 10 1111 - это и есть код символа я, единственный и неповторимый ) Некоторые шрифты содержат глиф для этого символа, некоторые нет. 23 мая 2015 в 15:47

2 ответа 2

3

ответ вынесен из комментария:


Code point никуда дальше не переводится. 1 0000 10 1111 - это и есть код символа я, единственный и неповторимый.

Некоторые шрифты содержат глиф для этого символа, некоторые — нет.

2

Шрифтовая машина отвечает за преобразование code point в изображение. Поскольку шрифты индексированы (в современных системах) code pointами в Unicode, то ожидается, что разбирающее строку ПО умеет разбираться с конкретной используемой кодировкой. И, кстати, не имеет принципиального значения, применяется Unicode-кодировка или что-то иное. ПО отображения текста должно уметь преобразовать строку байт в последовательность Unicode code points. Не принципиально, в чём строку: UTF-8, UTF-16 или Code Page 1251.

«В Linux все в UTF-8» — миф. Несомненно, ядро поддерживает UTF-8 во многих ситуациях, но внутри ядерного ПО текстовой консоли символы обрабатываются в виде 16-разрядных опять-таки Unicode code points, т.е. в UCS-2, а хранятся обычно (см. /dev/vcsan) — и вовсе в 8- или 9-битных кодовых страницах. Имена файлов? Не знаю, в каком месте ядра и с каких пор фиксируется использование для них UTF-8; ещё в 2.x можно было при монтировании FAT и SMB указать преобразование в разные кодовые страницы. Как в современном Linux — дополните знатоки, если знаете. А прикладное ПО в tty может работать в любой кодировке, для которой не поленились создать локаль.

Использование UTF-16LE в ядре Windows ускоряет задачу при выводе символов Основной Плоскости (BMP; code point < 0x10000), поскольку 16-разрядное слово UTF-16 в этом случае — оно же code point. Когда Windows натыкается на суррогатную пару — да, она преобразуется в 32-разрядный код и по нему проводится поиск в шрифте.

7
  • Насколько мне известно, в именах файлов (по крайней мере в FS типа ext4) могут присутствовать любые байты (конечно, кроме / и 0x00) и никаких преобразований кодировок на пути от open (fopen) к оглавлению на диске никто не делает. А вот имена в подмонтированных "чужих" файловых системах у меня конвертируются в utf-8 (подозреваю, что это зависит от locale, может кто проверит? а то мне экспериментировать лень).
    – avp
    26 авг 2015 в 11:07
  • @avp: Сомневаюсь, что от локали, т.к. локаль не перекодирует имена файлов на пути к системным вызовам (иначе говоря, в open() как строка байт входит, так то же самое приходит в ядро). А на ядро локаль не действует принципиально, т.к. реализуется средствами userspace. У некоторых файловых систем (включая те, что я назвал) при монтировании есть опции -o iocharset= и -o codepage=. 26 авг 2015 в 12:13
  • У меня сейчас (вывод mount) ushare on /media/sf_ushare type vboxsf (gid=1001,rw) делится между VirtualBox в винде и Linux. / Считаете, что в VboxAdditions (видимо в реализацию open для конкретной FS в vfs) зашито utf-8? / А в принципе данные locale (как environment LANG=en_US.UTF-8) из userspace внутри kernel доступны (как ими там можно дольше воспользоваться -- это уже другой вопрос).
    – avp
    26 авг 2015 в 12:38
  • @avp: Если я понял о чём речь, host-система монтирует ФС виртуального Windows, выступающего файл-сервером. Раз в Windows NT+ имена файлов закодированы в UTF-16, вполне логично преобразовывать их в UTF-8 а не во что-нибудь 8-битное ограничительное, во избежание недоступных файлов и иных неприятностей. Да, ядро может подсмотреть локаль. Только его поведение должно основываться не на капризе системного программиста, а на семантике. Так повелось, что open() в UNIX-системах берёт строку байт, а не символов. Сменить это для всех приложений — нереально, а постепенно — глюки и дыры в безопасности. 26 авг 2015 в 14:29
  • Поток байт это как раз нормально. А вот то, что я не могу положить в винду файл с имененм не в utf-8 (например, \377.txt (я.txt в cp-1251)), который само-собой не может быть перекодирован в виндозный UTF-16 -- вот это ненормально. Впрочем, надеюсь, скоро винду (после проколов в шпионящей 10-ке) мы будем только вспоминать.
    – avp
    26 авг 2015 в 15:10

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.