К примеру, UTF-8 символ Я
закодирован в 1101 0000 1010 1111
, а после декодирования получается code point 1 0000 10 1111
. Так вот, кто отвечает за превращение этого code point в символ и отрисовку на экране? То есть, в windows и linux есть таблицы Unicode по которым ищется этот code point и потом отрисовывается glyph ему соответствующий? В Linux все в UTF-8, а в windows в api функции нужно передавать UTF-16 c сурогатными парами?
2 ответа
ответ вынесен из комментария:
Code point никуда дальше не переводится. 1 0000 10 1111
- это и есть код символа я
, единственный и неповторимый.
Некоторые шрифты содержат глиф для этого символа, некоторые — нет.
Шрифтовая машина отвечает за преобразование code point в изображение. Поскольку шрифты индексированы (в современных системах) code pointами в Unicode, то ожидается, что разбирающее строку ПО умеет разбираться с конкретной используемой кодировкой. И, кстати, не имеет принципиального значения, применяется Unicode-кодировка или что-то иное. ПО отображения текста должно уметь преобразовать строку байт в последовательность Unicode code points. Не принципиально, в чём строку: UTF-8, UTF-16 или Code Page 1251.
«В Linux все в UTF-8» — миф. Несомненно, ядро поддерживает UTF-8 во многих ситуациях, но внутри ядерного ПО текстовой консоли символы обрабатываются в виде 16-разрядных опять-таки Unicode code points, т.е. в UCS-2, а хранятся обычно (см. /dev/vcsa
n) — и вовсе в 8- или 9-битных кодовых страницах. Имена файлов? Не знаю, в каком месте ядра и с каких пор фиксируется использование для них UTF-8; ещё в 2.x можно было при монтировании FAT и SMB указать преобразование в разные кодовые страницы. Как в современном Linux — дополните знатоки, если знаете. А прикладное ПО в tty может работать в любой кодировке, для которой не поленились создать локаль.
Использование UTF-16LE в ядре Windows ускоряет задачу при выводе символов Основной Плоскости (BMP; code point < 0x10000), поскольку 16-разрядное слово UTF-16 в этом случае — оно же code point. Когда Windows натыкается на суррогатную пару — да, она преобразуется в 32-разрядный код и по нему проводится поиск в шрифте.
-
Насколько мне известно, в именах файлов (по крайней мере в FS типа ext4) могут присутствовать любые байты (конечно, кроме
/
и0x00
) и никаких преобразований кодировок на пути от open (fopen) к оглавлению на диске никто не делает. А вот имена в подмонтированных "чужих" файловых системах у меня конвертируются в utf-8 (подозреваю, что это зависит от locale, может кто проверит? а то мне экспериментировать лень).– avp26 авг 2015 в 11:07 -
@avp: Сомневаюсь, что от локали, т.к. локаль не перекодирует имена файлов на пути к системным вызовам (иначе говоря, в open() как строка байт входит, так то же самое приходит в ядро). А на ядро локаль не действует принципиально, т.к. реализуется средствами userspace. У некоторых файловых систем (включая те, что я назвал) при монтировании есть опции
-o iocharset=
и-o codepage=
. 26 авг 2015 в 12:13 -
У меня сейчас (вывод mount)
ushare on /media/sf_ushare type vboxsf (gid=1001,rw)
делится между VirtualBox в винде и Linux. / Считаете, что в VboxAdditions (видимо в реализацию open для конкретной FS в vfs) зашито utf-8? / А в принципе данные locale (как environmentLANG=en_US.UTF-8
) из userspace внутри kernel доступны (как ими там можно дольше воспользоваться -- это уже другой вопрос).– avp26 авг 2015 в 12:38 -
@avp: Если я понял о чём речь, host-система монтирует ФС виртуального Windows, выступающего файл-сервером. Раз в Windows NT+ имена файлов закодированы в UTF-16, вполне логично преобразовывать их в UTF-8 а не во что-нибудь 8-битное ограничительное, во избежание недоступных файлов и иных неприятностей. Да, ядро может подсмотреть локаль. Только его поведение должно основываться не на капризе системного программиста, а на семантике. Так повелось, что open() в UNIX-системах берёт строку байт, а не символов. Сменить это для всех приложений — нереально, а постепенно — глюки и дыры в безопасности. 26 авг 2015 в 14:29
-
Поток байт это как раз нормально. А вот то, что я не могу положить в винду файл с имененм не в utf-8 (например,
\377.txt
(я.txt
в cp-1251)), который само-собой не может быть перекодирован в виндозный UTF-16 -- вот это ненормально. Впрочем, надеюсь, скоро винду (после проколов в шпионящей 10-ке) мы будем только вспоминать.– avp26 авг 2015 в 15:10
1 0000 10 1111
- это и есть код символая
, единственный и неповторимый ) Некоторые шрифты содержат глиф для этого символа, некоторые нет.