3

Я знаю как перекодировать строки, интересует следующее, какая стандартная кодировка у строк .NET. Пробовал UTF-32LE, но символы не правильно отображаются.

Вопрос не о перекодировании, а о кодировке строк .NET.

Image2 По просьбе добавлю код:

VlcTrackInfo(int id, string name)
{
    _id = id;

    Encoding utf8 = Encoding.UTF8;
    Encoding utf32 = Encoding.GetEncoding("UTF-32LE");
    byte[] text = Encoding.Convert(utf8, utf32, utf8.GetBytes(name));
    _name = utf32.GetString(text);
}

Если зациклить внимание на том что в .NET не важно какая кодировка у строки, то тут думаю стоит внести поправку.

Строка которую я получаю, состоит не из wide символов, а из ansii, которые закодированы в utf8 кодировку для поддержки извлечения wide символов. Т.е. если я к примеру, подключу библиотеку к проекту и буду перекодировать строку там, то при использовании того же MultiByteToWideChar с указанием кодировки строки как CP_UTF8, я получу читаемую строку (но каким-то образом остается 1 лишний символ). Так же при использовании std::wstring_convert<std::codecvt_utf8_utf16<wchar_t>>, снова получаю нормальную читаемую строку.

На скриншоте видно, что testStringDotNet имеет ровно такое же значение, как и принятое функцией входным параметром:

Image2

Если я правильно понимаю, то Encoding.GetBytes отдает массив байт как ubyte, но не byte за счет чего и происходит неверное декодирование.

13
  • не правильно отображаются где?
    – Grundy
    8 апр 2018 в 20:16
  • Как заполняется поле name?
    – Grundy
    8 апр 2018 в 20:23
  • @Grundy: Конвертированием входной строки UTF8 в UTF-32LE.
    – user206435
    8 апр 2018 в 20:25
  • Вместо скриншота, который никак не показывает в чем проблема, приложите код.
    – Zergatul
    8 апр 2018 в 20:33
  • @Zergatul: Вопрос не о перекодировании, а о кодировках строк .NET.
    – user206435
    8 апр 2018 в 20:34

2 ответа 2

7

Слово "кодировка" применимо только при хранении строки как массива байт. Не может в string лежать UTF8 строка или ASCII строка. Т.к. UTF8 или ASCII, или любая другая кодировки - это то, как одни и те же символы записываются в виде разных байт. Но ведь в .net вы работаете с символами, а не с байтами. "A" в utf8 - это тот же символ что "A" в ASCII. Пока строка - это string - вам все равно, какие там внутри байты.

Нет никакой "стандартной кодировки". Есть строка. Ее можно превратить в представление в виде байт в любой кодировке. Массив байт можно превратить строку, но для этого нужно указать кодировку для превращения байт в строку.

То, что вы называете "перекодированием" строки - это костыль, который обычно применяют для "исправления строки" прочитанной с указанием неверной кодировки. И исправлять это нужно указанием верной кодировки при декодировании оригинального массива байт.

Т.е. код выглядит как

  1. Есть массив байт
  2. Его преобразовали в строку, указав неверную кодировку.
  3. Где-то ниже по коду делается попытка "перекодировать" испорченную строку.

То, что получается в 2, вы считаете "строкой в неверной кодировке". И поэтому пытаетесь узнать, какая же кодировка верная. И исправить неверную на верную в 3.

На самом деле в 2 получилась просто строка. То, что в ней нечитабельный мусор - это последствия того, что вы не угадали с кодировкой при чтении массива байт. И чинить это нужно указанием в 2 той кодировки, в которой строка когда то была в эти байты сохранена.

Т.е. проблема не в "кодировке строки", а в том, что вы не угадали с кодировкой массива байт том месте, где из него читается name. Вы, скорее всего, читали массив как utf8, но в байтах была строка в чем-то другом.

4
  • Вы, скорее всего, читали массив как utf8, но в байтах была строка в чем-то другом. Если это так, то почему при перекодировке строки через MultiByteToWideChar, с указанием кодировки стоки как CP_UTF8, она правильно декодируется. скриншот
    – user206435
    9 апр 2018 в 3:41
  • 3
    @Yami потому что в плюсах, в отличие от .net, строки - это массивы байт, а MultiByteToWideChar не "перекодирует строку", а меняет формат хранения "строка в массиве байт LPCSTR" в "строка в массиве байт LPWSTR". Даже у вас на скрине видно - у входной и выходной строки разные типы, именно для смены типа существует std::wstring_convert. И если при смене типа (и формата хранения) неверно указать CodePage - то произойдет "перекодировка". Примерно так же, как если в в .net записать строку в массив байт в одной кодировке, а прочитать из массива - в другой (как в вашем коде из вопроса).
    – user177221
    9 апр 2018 в 6:58
  • @Yami вы сейчас пытаетесь решить проблему "костылем" и "перекодировкой". Вместо этого - покажите то место, где у вас получается битая строка - name - из нативного кода. Там фикс на одну строку - правильно кодировку указать (или MarshalAs(UnmanagedType...) для параметра, или просто Encoding при чтении из массива), А вы вместо этого пытаетесь "перекодировать".
    – user177221
    9 апр 2018 в 7:00
  • Вы правы, когда я скопировал байты в массив, и вызвал Encoding.UTF8.GetString, то получил правильную строку.
    – user206435
    9 апр 2018 в 7:23
5

Если вам приходит строка из неуправляемого кода, то принимайте ее как массив байт, а дальше делайте:

string str = Encoding.UTF8.GetString(bytes)
2
  • Как это поможет мне понять какая стандартная кодировка у строки .NET?
    – user206435
    8 апр 2018 в 21:04
  • 4
    Как вам это знание поможет принять строку от неуправляемого кода? .NET сам превращает байты в строку, и там всего 2 варианта, Ansi и Wide. Они не имеют никакого отношения к внутренней кодировке строк.
    – Zergatul
    8 апр 2018 в 21:17

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки