3

Столкнулся со следующей проблемой: есть файл в ANSI кодировке и я его считываю построчно, но насколько я правильно понял, в C# эта считанная строка хранится в юникоде и в ней я наблюдаю какие-то иероглифы. Что делаю я (на примере 1-ой строчки файла):

StreamReader read = new StreamReader(@"D:\(path)");

StreamWriter write = new StreamWriter(@"D:\(path)");

Encoding ANSI = Encoding.GetEncoding(1252);
Encoding UTF8 = Encoding.UTF8;
byte[] utf8_bytes,ansi_bytes;

utf8_bytes = UTF8.GetBytes(read.ReadLine());
ansi_bytes = Encoding.Convert(UTF8, ANSI, utf8_bytes);

string ansi_str = ANSI.GetString(ansi_bytes);

write.WriteLine(ansi_str);

read.Close();
write.Close();

Но это почему-то не работает: в новом файле все также отображается много непонятных вопросительных знаков. Заранее спасибо.

4
  • Кстати в самом конструкторе StreamReader\StreamWriter можно выставлять кодировку и тогда все будет намного легче , но мне бы хотелось разобраться почему не работает моим способом .
    – nvse
    1 мая 2012 в 8:49
  • - покажите кусочек текста входного файла. Есть подозрение что он на кириллице (win-1251), а вы манипулируете с помощью 1252 (в ней кракозяблики на месте русских букв) - какая конечная цель данных манипуляций?
    – mantigatos
    1 мая 2012 в 9:17
  • 1)Да,перепутал,там 1251 у ANSI, но так тоже не работает Encoding ANSI = Encoding.GetEncoding(1251).Сам файл это словарь русских слов в кодировке ANSI (по крайней мере просто в Notepad++ она выставлена) 2)Конечная цель - есть словарь синонимов (~20k слов) и из каждой строчки я убираю определения самих терминов , оставляя только сами слова .
    – nvse
    1 мая 2012 в 9:35
  • У меня просто такое ощущение что, когда идет запись в файл , то он автоматом опять в юникод преобразуется
    – nvse
    1 мая 2012 в 9:49

2 ответа 2

4

Посмотрите внимательнее на код:

  1. прочитать текст, записанный в файле в UTF-8 (по умолчанию для StreamReader)
  2. записать текст в UTF-16LE строке (класс System.String в .NET)
  3. получить представление текста в кодировке UTF-8 в виде массива байтов
  4. преобразовать текст из UTF-8 в ANSI, получая массив байтов
  5. преобразовать текст из кодировки ANSI в UTF-16LE для записи в System.String
  6. записать текст (который сейчас в System.String), используя StreamWriter (который по умолчанию пишет в кодировке UTF-8)

Итого получается, что текст проходит следующие преобразования:

UTF-8 (StreamReader) -> UTF-16LE (System.String) -> UTF-8 (byte[]) -> ANSI (byte[]) -> UTF-16LE (System.String) -> UTF-8 (StreamWriter)

Думаю, что теперь стало очевидно, в чём проблема.

4
  • Ага,ясно,спасибо.Единственное а как же я массив байтов в ANSI преобразую в строку именно с соответствующей кодировкой, а не UTF-16LE ? То есть насколько я правильно понял в моем примере в строке ansi_str будет строка в UTF-16LE .
    – nvse
    1 мая 2012 в 10:19
  • Строка System.String в .NET всегда в кодировке UFT-16LE; метод Encoding.GetString() выполняет данную конвертацию.
    – AlexeyM
    1 мая 2012 в 10:33
  • Что-то я уже ничего не понимаю : если System.String в .NET всегда в кодировке UFT-16LE , а Encoding.GetString() возвращает System.String. Тогда сразу надо писать массив байтов в этот поток как-то ?
    – nvse
    1 мая 2012 в 10:40
  • Да, именно так. Создавайте поток для записи в файл (FileStream) и используйте метод Stream.Write().
    – AlexeyM
    1 мая 2012 в 10:50
0
StreamReader read = new StreamReader(@"D:\(path)");

StreamWriter write = new StreamWriter(@"D:\(path)");

Encoding ANSI = Encoding.GetEncoding(1251);
Encoding UTF8 = Encoding.UTF8;
byte[] utf8_bytes,ansi_bytes;

utf8_bytes = UTF8.GetBytes(read.ReadLine());
ansi_bytes = Encoding.Convert(UTF8, ANSI, utf8_bytes);

string ansi_str = ANSI.GetString(ansi_bytes);

write.WriteLine(ansi_str);

read.Close();
write.Close();

Попробуйте 1251 вместо 1252, тогда русские символы будут отображаться корректно.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.