1

Пытаюсь проверить большой список доменов на валидность. Пробую делать это в многопоточном режиме. Принцип роботы: Отправляю GET запрос к сайту, затем проверяю его HTML код. Код:

 httpClient loadingPage = new httpClient();
    private async void Button_Click_1Async(object sender, RoutedEventArgs e)
    {
        int j = 0;
        IProgress<string> progress = new Progress<string>(p => AllDomains.Content = Convert.ToString(j++));
        IProgress<string> progress1 = new Progress<string>(p => good.Text += p + "\n");
        IProgress<string> progress2 = new Progress<string>(p => bad.Text += p + "\n");
        IProgress<string> progress3 = new Progress<string>(p => Catch.Text += p + "\n");
         

        string[] arrString = File.ReadAllLines(@"C:\Users\Desktop\domain.txt");
        int arrStringCountForThread = (arrString.Length / 20);

        int maxConcurrency = 30; // сколько одновременно может работать потоков
        using (SemaphoreSlim semaphore = new SemaphoreSlim(maxConcurrency))
        {
            List<Task> tasks = new List<Task>();
            for (int i = 1; i < 20; i++)
            {
                try
                {
                    string[] NEWarrString = new string[arrStringCountForThread];
                    //Разделяем arrString на 20 массивов равного размера 
                    // каждый tasks получает 1/20 элементов массива

                    Array.Copy(arrString, (i * arrStringCountForThread), NEWarrString, 0, arrStringCountForThread);
                    tasks.Add(loadingPage.ProcessPage(NEWarrString, progress, progress1, progress2, progress3, semaphore)); // запуск I/O-bound операции
                }
                finally
                {
                }
            }
            await Task.WhenAll(tasks); // ждать завершения всех
        }
    }

httpClient.cs

 searshCMS searsh = new searshCMS();
    HttpClient client = new HttpClient();
    public async Task ProcessPage(string[] url, IProgress<string> progress, IProgress<string> progress1, IProgress<string> progress2, IProgress<string> progress3, SemaphoreSlim semaphore)
    {  string urllink = null;
        // MessageBox.Show(Convert.ToString(url.Length));
        for (int i = 0; i < url.Length - 1; i++)
        {urllink = url[i];
            try
            {
                ServicePointManager.SecurityProtocol = SecurityProtocolType.Tls12 | SecurityProtocolType.Tls11 | SecurityProtocolType.Tls;
                
                string html = await client.GetStringAsync(url[i]);
                searsh.SearchCMS(url[i], html, progress, progress1, progress2, progress3);
                
            }
            catch (Exception e)
            {
                progress3.Report(Convert.ToString(e));
            }
        }
    }

В searsh.SearchCMS(url[i], html, progress, progress1, progress2, progress3); передаётся HTML страницы для дальнейшей обработки.

В методе ProcessPage появляется очень много исключений

catch (Exception e)
            {
                progress3.Report(Convert.ToString(e));
            }

Например:

https://hairline.hu System.Net.Http.HttpRequestException: Произошла ошибка при отправке запроса. ---> System.Net.WebException: Невозможно соединиться с удаленным сервером ---> System.Net.Sockets.SocketException: Попытка установить соединение была безуспешной, т.к. от другого компьютера за требуемое время не получен нужный отклик, или было разорвано уже установленное соединение из-за неверного отклика уже подключенного компьютера 79.172.205.80:443 в System.Net.Sockets.Socket.InternalEndConnect(IAsyncResult asyncResult) в System.Net.Sockets.Socket.EndConnect(IAsyncResult asyncResult) в System.Net.ServicePoint.ConnectSocketInternal(Boolean connectFailure, Socket s4, Socket s6, Socket& socket, IPAddress& address, ConnectSocketState state, IAsyncResult asyncResult, Exception& exception) --- Конец трассировки внутреннего стека исключений --- в System.Net.HttpWebRequest.EndGetResponse(IAsyncResult asyncResult) в System.Net.Http.HttpClientHandler.GetResponseCallback(IAsyncResult ar) --- Конец трассировки внутреннего стека исключений --- в System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(Task task) в System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task) в System.Runtime.CompilerServices.TaskAwaiter`1.GetResult()

При этом в браузере https://hairline.hu загружается. В исключение падает примерно 50% всех доменов, большинство из них рабочее

6
  • Браузер шлет дополнительные заголовки с запросом, может в этом и проблема?
    – tym32167
    1 окт 2020 в 13:43
  • @tym32167, если повторно перезапустить программу этот же домен может загрузиться нормально
    – user54353
    1 окт 2020 в 13:46
  • Может быть у вас проблема с ServicePointManager.DefaultConnectionLimit вот тут описано много интересного про HttpClient habr.com/ru/post/424873 1 окт 2020 в 13:48
  • Указал ServicePointManager.DefaultConnectionLimit = int.MaxValue; Ничего не изменилось
    – user54353
    1 окт 2020 в 14:01
  • ServicePointManager.SecurityProtocol если у вас .NET Framework 4.6 и выше, вообще не надо указывать. А в .NET Core оно вообще не работает. Еще скажите, какая у вас Windows? Она поддерживает TLS 1.2?
    – aepot
    1 окт 2020 в 17:44

1 ответ 1

2

Вы как-то странно поступили с кодом. Я узнаю комментарии, кажется я не так давно их писал.

Вот так попробуйте

private async void Button_Click_1Async(object sender, RoutedEventArgs e)
{
    IProgress<string> progress = new Progress<string>(p => AllDomains.Content = Convert.ToString(j++));
    IProgress<string> progress1 = new Progress<string>(p => good.Text += p + "\n");
    IProgress<string> progress2 = new Progress<string>(p => bad.Text += p + "\n");
    IProgress<string> progress3 = new Progress<string>(p => Catch.Text += p + "\n");

    string[] arrString = File.ReadAllLines(@"C:\Users\Desktop\domain.txt");

    int maxConcurrency = 30; // сколько одновременно может работать потоков
    using (SemaphoreSlim semaphore = new SemaphoreSlim(maxConcurrency))
    {
        List<Task> tasks = new List<Task>();
        foreach (string s in arrString)
        {
            await semaphore.WaitAsync();
            tasks.Add(loadingPage.ProcessPage(s, progress, progress1, progress2, progress3, semaphore)); // запуск I/O-bound операции
        }
        await Task.WhenAll(tasks); // ждать завершения всех
    }
}
public async Task ProcessPage(string url, IProgress<string> progress, IProgress<string> progress1, IProgress<string> progress2, IProgress<string> progress3, SemaphoreSlim semaphore)
{
    try
    {
        string html;
        using (HttpResponseMessage response = await client.GetAsync(url, HttpCompleteionOption.ResponseHeadersRead).ConfigureAwait(false))
        {
            response.EnsureSuccessStatusCode();
            html = await response.Content.ReadAsStringAsync().ConfigureAwait(false);
        }
        searsh.SearchCMS(url, html, progress, progress1, progress2, progress3);
    }
    catch (Exception ex)
    {
        progress3.Report(ex.ToString());
    }
    finally
    {
        semaphore.Release();
    }
}

Вот теперь будет работать 30 одновременных запросов.

Я проверил дважды, указанный вами адрес выдает страницу нормально. Вот этим кодом в консольном приложении проверил. Скорее всего проблема в вашей Windows.

public class Program
{
    private static HttpClient client = new HttpClient();
    public static async Task Main()
    {
        string html = await client.GetStringAsync("https://hairline.hu");
        Console.WriteLine(html);
    }
}

В консоль выводится большой HTML.

8
  • Использовал ваш код: System.Net.Http.HttpRequestException: Произошла ошибка при отправке запроса. ---> System.Net.WebException: Невозможно соединиться с удаленным сервером ---> System.Net.Sockets.SocketException: Попытка установить соединение была безуспешной, т.к. от другого компьютера за требуемое время не получен нужный отклик, или было разорвано уже установленное соединение из-за неверного отклика уже подключенного компьютера 107.180.115.186:443
    – user54353
    1 окт 2020 в 19:32
  • Из 100 сайтов ~40 ушли в исключение, при этом если программу перезапустить - те сайты что перед этим уходили в исключение могут отработать нормально, а те что работали нормально уйти в исключение. Вообще не понимаю с чем это связанно
    – user54353
    1 окт 2020 в 19:34
  • @user54353 что делает метод SearchCMS? Как долго он работает? Что там внутри? Что будет, если одновременных запросов указать к примеру не 30, а 10?
    – aepot
    1 окт 2020 в 20:18
  • @user54353 обновил код в ответе
    – aepot
    1 окт 2020 в 20:33
  • Пробовал 1\5\10\50 одновременных запросов, весь SearchCMS это: if (str.IndexOf(line) != -1) { progress1.Report(link); }
    – user54353
    1 окт 2020 в 21:02

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.