Решил проверить, как ведет себя метод getBytes()
класса String
, когда code point буквы имеет значение, большее 127. Взял для примера строку с латинскими и кириллическими символами, которую преобразовал в массив байтов:
byte[] bytes = "abcdefghijz<аБ".getBytes();
Получил следующие байты:
[97, 98, 99, 100, 101, 102, 103, 104, 105, 106, 122, 60, -32, -63]
Как видно, из-за переполнения типа byte
code point а=224
и Б=193
сместился в отрицательную область -32
и -63
, соответственно.
Далее преобразую байтовый массив в массив char
char[] chars=new char[bytes.length];
for (int i=0;i<bytes.length;i++)
chars[i]=(char)bytes[i];
Получаю
[a, b, c, d, e, f, g, h, i, j, z, <, ?, ?]
Как и ожидалось, char для отрицательных значений не определен, и вместо них IDE рисует знаки ?
Далее проверяю, как Java работает с этими char
при записи в файл. Первый способ:
FileOutputStream fos=new FileOutputStream("chars.txt");
BufferedOutputStream bos=new BufferedOutputStream(fos);
bos.write(bytes,0,bytes.length);
bos.close();
При использовании FileOutputStream
программа корректно отображает кириллические буквы, вместо знаков вопроса в текстовом файле имеются буквы а
и Б
, а при открытии файла в шестнадцатеричном редакторе на месте букв стоят корректные значения байтов 224
и 193
, а не отрицательные числа, которые изначально выдала программа
Второй способ записи в файл:
FileWriter fos=new FileWriter("chars.txt");
fos.write(chars,0,chars.length);
fos.close();
При использовании FileWriter
в текстовом файле вместо кириллических символов отображаются вопросительные знаки, а при открытии файла в шестнадцатеричном редакторе знак вопроса отображается как байт 63
(а не 224
и 193
, которые были заложены в строку изначально)
Отсюда возникают следующие вопросы:
1) Я ожидал, что FileWriter
корректно отобразит кириллические символы, которые в стандартной кодировке windows (windows-1251
) помещаются в один байт. Почему это не так? Я знаю, что FileWriter
- это символьный, а не байтовый поток. Но ведь символьные потоки так же оперируют байтами. Если изначально заложен байт символа а=224
, то разве программа не должна на низком уровне записать в файл этот же байт? При просмотре в текстовом редакторе может отображаться что-то другое, если неправильно кодировка подобрана и байту 224 соответствует какой-то иероглиф. Но почему же FileWriter
записывает совсем другой байт?
2) Зачем все-таки классу String
метод getBytes()
, если в Java он имеет не тот диапазон, который традиционно используется в компьютерной технике? Вроде бы в компьютерной технике никто отрицательными числами не оперирует?
Java's primitive byte data type is always defined as consisting of 8 bits and being a signed data type, holding values from −128 to 127.
– Eugene Krivenja 6 ноя '18 в 13:55String
методgetBytes
мы хотим получить кодепойнты символов из стандартной кодировки. но при выходе кодепойнта за пределы 127 возвращается нечто другое, с чем непонятно как работать – Dmitry 8 ноя '18 в 17:45