2

Пытаюсь вернуть с помощью WebClient содержимое страниц. Все хорошо, если указана кодировка. Но вот если попытаться отобразить страницу google будут кракозябры. Пока есть идея только провести анализ на наличие meta-заголовка, и если его нет, добавить его:

<meta http-equiv=Content-Type content="text/html;charset=UTF-8">

Но он может быть оформлен как угодно, что несколько осложняет его поиск. Намечается вопрос: как можно грамотно указать кодировку выводимой страницы? Возможно нет необходимости его искать и я упускаю возможности .NET

using (WebClient client = new WebClient())
{
  client.Encoding = Encoding.UTF8;
  downloadString = client.DownloadString("https://www.google.ru/?gws_rd=ssl");
}
0

3 ответа 3

4

Можно определить при помощи заголовка ответа сервера:

Content-Type: text/html; charset=utf-8

Через HttpWebResponse:

const string url = "http://google.com/";
var request = (HttpWebRequest)WebRequest.Create(url);
var response = (HttpWebResponse)request.GetResponse();
var contentType = response.Headers["Content-Type"];

Или через WebClient:

public class WebClientEx : WebClient
{
    public string ContentType;

    protected override WebResponse GetWebResponse(WebRequest request)
    {
        var response = base.GetWebResponse(request);
        if (response != null)
        {
            this.ContentType = response.Headers["Content-Type"];
        }
        return response;
    }
}

Получить кодировку по имени можно так:

var encoding = Encoding.GetEncoding("utf-32");

Начиная с версии .Net 4.5 появилась новая улучшенная библиотека для HTTP.

На nuget.org есть версия для .Net 4.

1

Если хотите точно определить кодировку - лучше никогда не полагайтесь только на заголовок ответа сервера.

Очень часто кодировка в заголовке ответа и реально используемая кодировка отличаются по различным причинам. А ещё указание кодировки может вообще отсутствовать в заголовке ответа.

<meta http-equiv="content-type"> - приоритетней HTTP-заголовков, и если он указан, то лучше верить ему. Хотя он тоже не всегда корректен, да и может спокойно отсутствовать.

В идеале нужно выполнить последовательно несколько действий:

  1. Посмотреть указанна ли кодировка в HTTP-заголовке Content-Type? Если указанна - запоминаем.
  2. Если в начале содержимого есть BOM-байты - прекращаем поиски, и в зависимости от их значений считаем кодировкой содержимого UTF-8, UTF-16, либо UTF-32
  3. Произвести парсинг HTML(временно используя в качестве кодировки ASCII), и если есть meta[http-equiv=content-type] с указанной в нем кодировкой - заменяем им кодировку найденную на первом шаге
  4. Если по результатам 1-3 шагов кодировка не определена - продолжаем парсинг HTML, вытаскиваем из него текстовое содержимое, и определяем его кодировку по результатам его эвристического анализа. Для этого есть готовые проекты chardetsharp и NCharDet.

Если жестко не задавать WebClient-у кодировку, то он определит её автоматически по 1 и 2 шагу. Найденную кодировку он, к сожалению, никуда не записывает, а только использует её в своих внутренних методах.

0

Похожий вопрос уже был: сохранение страницы сайта в читабельном виде

В моём ответе есть код (на VB.NET) определения кодировки страницы по ответу сервера.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.