0
using System.Net.Http;

Встречались ли вы с проблемой, что сайты указывают некорректное значение charset в ContentType заголовке ? Т.е. указывают cp1251, а не windows-1251 и при сериализации содержимого HTTP выдаёт исключение InvalidOperationException.

Я вышел из ситуации и при таком исключении в catch проверяю наличие кривого значения, меняю на нормальное и ещё раз пытаюсь сериализовать.

Но может быть как то иначе это можно делать ?

А не тупо:

string contentType = response.Content.Headers.ContentType.CharSet.ToString();
contentType = contentType.ToLower();

if (contentType.Contains("cp1251"))
{
   response.Content.Headers.ContentType.CharSet = "windows-1251";
}

UPD: Вот хороший пример, facebook.com тоже выдаёт исключение.

введите сюда описание изображения

8
  • 1
    А зачем исправлять при исключении, фактически уже после обработки, если можно сразу проверять и не получать исключение? 8 дек 2019 в 11:52
  • 1
    Я сталкивался как то с подобным, работая с одним "буржуйским" сайтом, который неверно писал кодировку, пришел к банальному - конвертировал прямиком полученные байты в нужную мне кодировку. Если что, подобная реализация есть в этом ответе.
    – EvgeniyZ
    8 дек 2019 в 11:56
  • @ГеннадийП т.е. каждый проверять и те 99% нормальные, теряя процессорное время ? Или дурной тон в catch проверять ? Я падаван в этом деле, а вы мои магистры xD Было бы здорово, если бы разъяснили.
    – Xzizz
    8 дек 2019 в 12:25
  • 1
    @Vipz Проверка и замена по маленькому словарю занимает крайне мизерное время по сравнению с повторной задачей (в данном случае сериализация плюс другие задачи) 8 дек 2019 в 12:32
  • 2
    если я буду все извлекать в utf-8 - не будут ли на каких то иероглифы вылезать? - конечно будут. Вообще я бы на вашем месте нашел бы способ автоматически "детектить" кодировку полученных байтов, ну или делайте словарь, как вам уже дали ответ. Вот например нашел на EnSO ответ, который автоматически обнаруживает кодировку байтов и выдает преобразованный текст, вам достаточно заменить byte[] b = File.ReadAllBytes(filename); на параметр и заменить из моего ответа строки преобразования на это: _ = detectTextEncoding(bytes, out data);.
    – EvgeniyZ
    8 дек 2019 в 13:08

1 ответ 1

3

Чтобы не плодить кучу if при проверке можете использовать словарь и поиск по словарю:

        Dictionary<string, string> charsetDict = new Dictionary<string, string>
        {
            { "cp1251", "windows-1251" },
            { "win1251", "windows-1251" },
            { "utf-8", "UTF-8" },
            { "utf8", "UTF-8" },
        };

        string charsetTest = "cp1251";
        Console.WriteLine(charsetDict.FirstOrDefault(t => t.Key == charsetTest).Value ?? charsetTest);

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.