2

Добрый день. Вопрос с примером, имеем:

charLine := "слово" 
fmt.Println(charLine) // кодирует кириллицу в по 2 байта на каждый символ. По дефолту тип элементов(символов) byte т.е. uint8

Вопрос

  1. Почему я не могу явно указать (сколько бит отводить)т.е. сказать типа делай int16 для элемента(ов) и используй его. Тебе ведь все равно, ты работаешь с строкой в бинарном виде.

Хорошо, идем другим путем. Делаем срез текстовой строки:

sliceLine := []byte(charLine)
fmt.Println(sliceLine) // byte это алиас на тип uint8, т.е. сейчас видим бинарное представление данных, как сделано для типа string с приведением к строке. Делая срез мы можем указать какой тип использовать: uint8 или int32 (rune)

Вопрос

  1. Почему для среза, я не могу указать тип uint16. Для кириллицы хватит за глаза. А потом просто как обычно привести из числа в строчку штатной функцией string() ?

Вопрос имеет некоторую практическую ценность. Допустим я большой жмот :) и мне жалко выделять в памяти 4 байта на каждый символ, используя rune. Поэтому хочу выделять только 2 байта используя uint16 (думаю нет смысла для символа учитывать sign bit => кириллица влезет) но golang меня не понимает. Или я его :) Да, uint8 (byte) не устраивает тем, что кодирует кириллицу по несколько байт и работать с ней как с массивом символов в бинарном виде – не удобно.

Согласно вики в uint16 => 2byte влезет как кириллица, так 80% всего, что потребуется.

1 ответ 1

2
  1. Потому что разработчики логично решили использовать UTF-8. Это их выбор.
  2. Потому что для кириллицы хватит, а для чего-то другого и нет. Что делать в таком случае при конвертации в uint16? Поэтому и сделан выбор -- либо байты (UTF-8) (как собственно строки в Go и хранятся), либо по 4 байта для быстрой обработки, когда любой символ кодируется одним числом. Если вы хотите использовать по 2 байта, используйте UTF-16 с помощью пакета unicode/utf16, кириллица будет помещаться в одно слово.

    // получаем срез []uint16
    line := utf16.Encode([]rune(charLine))
    
    // используем
    ...
    

Важный момент: то, что не будет помещаться в 2 байта, будет использовать два элемента этого среза, но если вы заведомо знаете, что у вас все будет помещаться, то на это можно не обращать внимания.

9
  • Спасибо за пакет. Спасибо за stackoverflow на русском. :) Реально очень хорошие ответы в отличии от тостера :) Что касается символа в golang, из недостоверных источников (чей то блог) было вычитано, что в Go каждый символ представляется типом rune в кодировке UTF-8. Но, дергая его как массив я вижу тип byte. А не rune (int32) - что я не правильно понимаю? 10 авг 2015 в 18:44
  • Что-то неправильное в этом источнике написано. Строки в Go -- неизменяемые срезы байтов, представляющие собой валидный UTF-8 (если только ничего не "намутить" с помощью \xNN). То есть символ занимает от 1 до 4 байт. Если же конвертировать строку в []rune -- то каждый элемент представляет один символ в виде code point Unicode, без всякой кодировки (UTF-8 или что бы то ни было). 10 авг 2015 в 18:49
  • Все хорошо описано в официальном блоге (blog.golang.org/strings), но, увы, на английском. 10 авг 2015 в 18:50
  • Стараюсь изучать параллельно анг. с изучением первого для себя ЯП. Но анг. документация, пока очень сложна для меня. Поэтому пришел сюда. Постараюсь влиться в Ваш дружный коллектив и тоже отвечать на вопросы. Вадим, жму руку - вопрос исчерпан, вам большое спасибо. Да, когда обратился к с строке как к массиву у меня произошел сбой в мозге, потому, что ожидал увидеть тип rune согласно вот этой статьи - Базовые типы. Хотя, возможно я просто не правильно понял контекст сказанного в этом обзоре. 10 авг 2015 в 19:01
  • По поводу rune там неверно лишь то, что используется кодировка UTF-8. Там не сказано, что этот тип используется в string. 10 авг 2015 в 19:19

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.