0

Делаю запрос на серверы гугл и получаю вместо русского языка крокозябру, менял кодировки не помогло, может у гугла на поисковик какая нибудь хитрая кодировка стоит. Класс для отправки запроса:

public static class MyWebRequest
{
    public static string Get(string url, Dictionary<string, string> QueryParameters = null, Encoding encoding = null)
    {
        using var webClient = new WebClient();
        if (encoding != null)
        {
            webClient.Encoding = encoding;
        }
        if (QueryParameters != null && QueryParameters.Count != 0)
        {
            foreach (var queryParameter in QueryParameters)
            {
                webClient.QueryString.Add(queryParameter.Key, queryParameter.Value);
            }
        }
        return webClient.DownloadString(url);
    }
}

Сам запрос:

Encoding.RegisterProvider(CodePagesEncodingProvider.Instance);
            var result = MyWebRequest.Get("https://www.google.com/search",
                new Dictionary<string, string>() { ["q"] = textBoxSearch.Text.Replace(' ', '+')}, Encoding.GetEncoding("UTF-8"));

Сам сайт гугла говорит что у него в UTF-8 мол поисковая страница стоит. В чем может быть проблема? П.С. переписал запрос на HttpClient но крокозябры остались

public static string Get(string url, Dictionary<string, string> QueryParameters = null)
{
    Task<HttpResponseMessage> response;
    if (QueryParameters != null && QueryParameters.Count != 0)
    {
        response = client.GetAsync($"{url}?{QueryParameters.Select(s => $"{s.Key}={s.Value}").Aggregate((a, b) => $"{a}&{b}")}");
    }
    else
    {
        response = client.GetAsync(url);
    }
    return response.Result.Content.ReadAsStringAsync().Result;
}
11
  • 2
    Почитайте документацию про WebClient, поймете, что он является устаревшим компонентом в языке C#.
    – EvgeniyZ
    18 фев 2022 в 15:02
  • @EvgeniyZ переписал на public static string Get(string url, Dictionary<string, string> QueryParameters = null) { Task<HttpResponseMessage> response; if (QueryParameters != null && QueryParameters.Count != 0) { response = client.GetAsync($"{url}?{QueryParameters.Select(s => $"{s.Key}={s.Value}").Aggregate((a, b) => $"{a}&{b}")}"); } else { response = client.GetAsync(url); } return response.Result.Content.ReadAsStringAsync().Result; } 18 фев 2022 в 15:44
  • Очень странный код выше, прям очень странный. А по вопросу, если вас смущают class="gTMtLb fp-nh", то это защита от тех, кто хочет парсить данные, а не проблемы с кодировкой.
    – EvgeniyZ
    18 фев 2022 в 15:49
  • 1
    код в нормальном форматировании - так меня не это удивляет, а то, что вы так криво работаете с асинхронность, используя непойми зачем .Result, убивая тем самым всю асинхронность, нельзя так.. а смущает - вы пробовали это выводить на экран? Если да и там тож самое, то WebUtility.HtmlDecode("A1 A2 A3 A4 - &#1055;&#1086;&#1080;&#1089;&#1082; &#1074; Google") вам в помощь)
    – EvgeniyZ
    18 фев 2022 в 15:58
  • 1
    Она уже у вас появилась. Ваш код выше тупо повесит интерфейс (если это WinForms или WPF) на момент получения данных от сервера. Нравятся зависания интерфейса, дергание, фризы, ну... Дело ваше, а я лучше напишу не string, а async Task<string> и не response.Result.Content.ReadAsStringAsync().Result;, а var html = await client.GetStringAsync(..);...
    – EvgeniyZ
    18 фев 2022 в 16:15

1 ответ 1

3

Делаете много лишних телодвижений.

public static class MyWebRequest
{
    private static readonly HttpClient client = new HttpClient(new HttpClientHandler { AutomaticDecompression = DecompressionMethods.All })
    { 
        DefaultRequestVersion = HttpVersion.Version20
    };

    public static async Task<string> GetAsync(string url, Dictionary<string, string> queryParameters = null)
    {
        UriBuilder builder = new UriBuilder(url);
        if (queryParameters?.Count > 0)
        {
            builder.Query = await new FormUrlEncodedContent(queryParameters).ReadAsStringAsync();
        }

        return await client.GetStringAsync(builder.Uri);
    }
}

Проверяю, использую NuGet пакет HtmlAgilityPack.

static async Task Main(string[] args)
{
    var html = await MyWebRequest.GetAsync("https://www.google.com/search", new Dictionary<string, string>() { ["q"] = "get запрос C#" });
    HtmlDocument doc = new HtmlDocument();
    doc.LoadHtml(html);
    var title = HtmlEntity.DeEntitize(doc.DocumentNode.SelectSingleNode("//title").InnerText);
    Console.WriteLine(title);
}

Вывод в консоль

get запрос C# - Поиск в Google

Кодировки типа ANSI и UTF-8 определяются автоматически. А если зарегать провайдер Encoding.RegisterProvider(CodePagesEncodingProvider.Instance); то и Win1251 скушает само.


Асинхронный обработчик кнопки в WPF выглядел бы так.

private async void Button1_Click(object sender, RoutedEventArgs e)
{
    Button btn = (Button)sender;
    btn.IsEnabled = false; // защита от повторного нажатия, так как
                           // если не морозить UI, теперь он работает во время выполнения кода.
                           // в этом и есть смысл асинхронности здесь

    var html = await MyWebRequest.GetAsync("https://www.google.com/search", new Dictionary<string, string>() { ["q"] = "get запрос C#" });
    HtmlDocument doc = new HtmlDocument();
    doc.LoadHtml(html);
    var title = HtmlEntity.DeEntitize(doc.DocumentNode.SelectSingleNode("//title").InnerText);
    Debug.WriteLine(title);

    btn.IsEnabled = true;
}

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.