Пытаюсь проверить большой список доменов на валидность. Пробую делать это в многопоточном режиме. Принцип роботы: Отправляю GET запрос к сайту, затем проверяю его HTML код. Код:
httpClient loadingPage = new httpClient();
private async void Button_Click_1Async(object sender, RoutedEventArgs e)
{
int j = 0;
IProgress<string> progress = new Progress<string>(p => AllDomains.Content = Convert.ToString(j++));
IProgress<string> progress1 = new Progress<string>(p => good.Text += p + "\n");
IProgress<string> progress2 = new Progress<string>(p => bad.Text += p + "\n");
IProgress<string> progress3 = new Progress<string>(p => Catch.Text += p + "\n");
string[] arrString = File.ReadAllLines(@"C:\Users\Desktop\domain.txt");
int arrStringCountForThread = (arrString.Length / 20);
int maxConcurrency = 30; // сколько одновременно может работать потоков
using (SemaphoreSlim semaphore = new SemaphoreSlim(maxConcurrency))
{
List<Task> tasks = new List<Task>();
for (int i = 1; i < 20; i++)
{
try
{
string[] NEWarrString = new string[arrStringCountForThread];
//Разделяем arrString на 20 массивов равного размера
// каждый tasks получает 1/20 элементов массива
Array.Copy(arrString, (i * arrStringCountForThread), NEWarrString, 0, arrStringCountForThread);
tasks.Add(loadingPage.ProcessPage(NEWarrString, progress, progress1, progress2, progress3, semaphore)); // запуск I/O-bound операции
}
finally
{
}
}
await Task.WhenAll(tasks); // ждать завершения всех
}
}
httpClient.cs
searshCMS searsh = new searshCMS();
HttpClient client = new HttpClient();
public async Task ProcessPage(string[] url, IProgress<string> progress, IProgress<string> progress1, IProgress<string> progress2, IProgress<string> progress3, SemaphoreSlim semaphore)
{ string urllink = null;
// MessageBox.Show(Convert.ToString(url.Length));
for (int i = 0; i < url.Length - 1; i++)
{urllink = url[i];
try
{
ServicePointManager.SecurityProtocol = SecurityProtocolType.Tls12 | SecurityProtocolType.Tls11 | SecurityProtocolType.Tls;
string html = await client.GetStringAsync(url[i]);
searsh.SearchCMS(url[i], html, progress, progress1, progress2, progress3);
}
catch (Exception e)
{
progress3.Report(Convert.ToString(e));
}
}
}
В searsh.SearchCMS(url[i], html, progress, progress1, progress2, progress3); передаётся HTML страницы для дальнейшей обработки.
В методе ProcessPage появляется очень много исключений
catch (Exception e)
{
progress3.Report(Convert.ToString(e));
}
Например:
https://hairline.hu System.Net.Http.HttpRequestException: Произошла ошибка при отправке запроса. ---> System.Net.WebException: Невозможно соединиться с удаленным сервером ---> System.Net.Sockets.SocketException: Попытка установить соединение была безуспешной, т.к. от другого компьютера за требуемое время не получен нужный отклик, или было разорвано уже установленное соединение из-за неверного отклика уже подключенного компьютера 79.172.205.80:443 в System.Net.Sockets.Socket.InternalEndConnect(IAsyncResult asyncResult) в System.Net.Sockets.Socket.EndConnect(IAsyncResult asyncResult) в System.Net.ServicePoint.ConnectSocketInternal(Boolean connectFailure, Socket s4, Socket s6, Socket& socket, IPAddress& address, ConnectSocketState state, IAsyncResult asyncResult, Exception& exception) --- Конец трассировки внутреннего стека исключений --- в System.Net.HttpWebRequest.EndGetResponse(IAsyncResult asyncResult) в System.Net.Http.HttpClientHandler.GetResponseCallback(IAsyncResult ar) --- Конец трассировки внутреннего стека исключений --- в System.Runtime.CompilerServices.TaskAwaiter.ThrowForNonSuccess(Task task) в System.Runtime.CompilerServices.TaskAwaiter.HandleNonSuccessAndDebuggerNotification(Task task) в System.Runtime.CompilerServices.TaskAwaiter`1.GetResult()
При этом в браузере https://hairline.hu загружается. В исключение падает примерно 50% всех доменов, большинство из них рабочее
ServicePointManager.SecurityProtocol
если у вас .NET Framework 4.6 и выше, вообще не надо указывать. А в .NET Core оно вообще не работает. Еще скажите, какая у вас Windows? Она поддерживает TLS 1.2?