2

Есть цикл, который асинхронно скачивает много файлов:


privare void MyLogic(...) {

   int start = 5, end = 150;
   string filepath = @"somepath", url=@"someurl", ext = ".zip";

   for (int i = start; i<= end; i++) 
   {
      LoadFile(filepath + @"\" + i.ToString("D4"), url + i.ToString() + ext);
   }

   //вот тут я хочу выполнить обработку только после того, как все загрузки будут завершены

}


private void LoadFile(string url, string path)
{
   try
   {
       using (WebClient client = new WebClient())
       {
           client.DownloadFileCompleted += (s, e) =>
           {
               Console.WriteLine(url + " success");
           };

           client.DownloadFileAsync(new Uri(url), path); //асинхронная загрузка
       }
   }
   catch
   {
       Console.WriteLine(url + " error"); //досадно, но продолжаем
   }
}

После цикла я хочу обработать на уровне файловой системы то, что скачалось. Как мне переписать код, чтобы точно понять в какой момент успешная загрузка всех файлов завершилась?

8
  • 1
    void не ожидаются, делайте Task и запускайте через async/await.
    – EvgeniyZ
    20 апр 2020 в 10:15
  • await тут не совсем, то что нужно.
    – 4per
    20 апр 2020 в 12:07
  • @EvgeniyZ можете привести пример как это в связке с WebClient должно выглядеть? Там есть другой метод DownloadFileTaskAsync но я не очень понимаю, как он работает
    – Talleyran
    20 апр 2020 в 12:23
  • private void LoadFile -> private async Task LoadFile. Далее как минимум client.DownloadFileAsync(new Uri(url), path); -> await client.DownloadFileTaskAsync (new Uri(url), path);. У вас будет тем самым Task, которую можно дождаться. Запускать вы ее тоже должны через await - await LoadFile(...);. Метод MyLogic тоже лучше сделать таском, но для начала добавьте ему async перез void. Все, у вас должно теперь дожидаться выполнения загрузки. P.S. WebClient не стоит использовать для новых приложений.
    – EvgeniyZ
    20 апр 2020 в 12:31
  • 1
    @aepot Решение я дал вроде как, этого должно автору хватить. По поводу загрузки файлов - это уже другой вопрос, который не относиться к текущему. За репутацией я не гонюсь, можете ответ дать какой пожелаете, хоть дословно копируйте мои слова выше, я не против)
    – EvgeniyZ
    20 апр 2020 в 22:15

2 ответа 2

2

И так для начала, вам надо изменить LoadFile сделав его Task, а не void. Например, так

private async Task LoadFileAsync(string url, string path)
{
   try
   {
       using (WebClient client = new WebClient())
       {
           client.DownloadFileCompleted += (s, e) =>
           {
               Console.WriteLine(url + " success");
           };

           await client.DownloadFileAsync(new Uri(url), path); //асинхронная загрузка
       }
   }
   catch
   {
       Console.WriteLine(url + " error"); //досадно, но продолжаем
   }
}

А вот с MyLogic есть три варианта:

1) Выполняем все загрузки по одной по очереди, но асинхронно

private async Task MyLogic(...) 
{    
   ...

   for (int i = start; i<= end; i++) 
   {
      await LoadFileAsync(filepath + @"\" + i.ToString("D4"), url + i.ToString() + ext);
   }

   DoAfter();     
}

2) Запускаем все 100500 загрузок сразу и ждём их окончания

private async Task MyLogic(...) 
{    
   ...

   var taks = new List<Task>(); 
   for (int i = start; i<= end; i++) 
   {
      Task task = LoadFileAsync(filepath + @"\" + i.ToString("D4"), url + i.ToString() + ext);
      tasks.Add(task); 
   }
   await Task.WhenAll(tasks);

   DoAfter();     
}

3) Всё таки запускать неизвестное какое количество задач одновременно не очень прилично. И для этого придуман паттерн Throttling (ссылка на википедию). Конечно, его можно реализовать самому, а можно воспользоваться библиотекой Task Parallel Libraray.Dataflow (ссылка на нюгет)

private async Task MyLogic(...) 
{    
    ...

    var block = new ActionBlock<int>(
        i => LoadFileAsync(filepath + @"\" + i.ToString("D4"), url + i.ToString() + ext),
        new ExecutionDataflowBlockOptions { MaxDegreeOfParallelism = 50 });

    for (int i = start; i<= end; i++) 
    {
       block.Post(i);
    }

    block.Complete();
    await block.Completion;

    DoAfter();     
}
2
  • 1
    Я бы еще указал, как запустить асинхронный MyLogic из синхронного кода правильно, например хотя-бы .GetAwaiter().GetResult(). А то автор получит при вызове метода то, с чего начал.
    – aepot
    21 апр 2020 в 9:06
  • Спасибо большое, в точности то разъяснение, которое было нужно
    – Talleyran
    23 апр 2020 в 12:11
2

Вот пример с полной асинхронностью кода и использованием System.Net.Http.HttpClient.

Консольное приложение, .NET Core 3.1 (C# 8.0)

Полный код приложения с комментариями

class Program
{
    // HttpClient создается один раз на все время работы приложения
    private static readonly HttpClient client = new HttpClient();

    struct DownloadParams // структура для параметров загрузки
    {
        public string Url { get; set; }
        public string FilePath { get; set; }
    }

    // асинхронный Main, обратите внимание!
    static async Task Main(string[] args)
    {
        List<DownloadParams> downloads = new List<DownloadParams>(); // новый список загрузок
        int start = 5, end = 150;
        string filepath = @"somepath", url = @"someurl", ext = ".zip";

        for (int i = start; i <= end; i++) // заполнение списка загрузок
        {
            downloads.Add(new DownloadParams { Url = url + i.ToString() + ext, FilePath = filepath + "/" + i.ToString("D4") });
        }

        try
        {
            await DownloadFilesAsync(downloads); // загружаем
        }
        catch (Exception ex)
        {
            Console.WriteLine("Ошибка при загрузке: " + ex.Message);
        }

        // здесь код, который надо выполнить после завершения всех загрузок.
        // при этом, все файлы уже записаны на диск, можно открывать и обрабатывать
    }

    // асинхронно загружает весь список с ограничением на количество одновременных загрузок
    private static async Task DownloadFilesAsync(List<DownloadParams> downloads)
    {
        Console.WriteLine("Запуск загрузки.");
        int maxTasks = 20; // максимальное количество одновременно работающих задач
        using SemaphoreSlim semaphore = new SemaphoreSlim(maxTasks);
        List<Task> tasks = new List<Task>();
        foreach (DownloadParams download in downloads)
        {
            // ждать, если достигнуто максимальное количество одновременно работающих задач, пока их не станет меньше
            await semaphore.WaitAsync();

            tasks.Add(Task.Run(async () =>
            {
                await DownloadAndSaveFileAsync(download); // загрузить файл
                semaphore.Release(); // сообщить, что задач стало меньше
            }));
        }
        await Task.WhenAll(tasks); // ждать завершения всех задач
        Console.WriteLine("Загрузка завершена.");
    }

    // асинхронно загружает один файл
    private static async Task DownloadAndSaveFileAsync(DownloadParams download)
    {
        Console.WriteLine("Начата загрузка из: " + download.Url + ", и сохранение в: " + download.FilePath);
        try
        {
            using HttpResponseMessage responseMessage = await client.GetAsync(download.Url, HttpCompletionOption.ResponseHeadersRead).ConfigureAwait(false);
            responseMessage.EnsureSuccessStatusCode(); // бросить исключение, если сервер вернул ошибку

            using FileStream fileStream = new FileStream(download.FilePath, FileMode.Create, FileAccess.Write, FileShare.None); // новый файл

            using Stream stream = await responseMessage.Content.ReadAsStreamAsync().ConfigureAwait(false); // загрузка данных

            await stream.CopyToAsync(fileStream); // запись на диск
            Console.WriteLine("Файл " + download.FilePath + " успешно загружен и сохранен.");
        } 
        catch (Exception ex)
        {
            Console.WriteLine(ex.Message);
        }
    }
}

Если с асинхронным Main сложно, то вот обычный синхронный

static void Main(string[] args)
{
    List<DownloadParams> downloads = new List<DownloadParams>(); // новый список загрузок
    int start = 5, end = 150;
    string filepath = @"somepath", url = @"someurl", ext = ".zip";

    for (int i = start; i <= end; i++) // заполнение списка загрузок
    {
        downloads.Add(new DownloadParams { Url = url + i.ToString() + ext, FilePath = filepath + "/" + i.ToString("D4") });
    }

    try
    {
        DownloadFilesAsync(downloads).GetAwaiter().RetGesult(); // загружаем
    }
    catch (Exception ex)
    {
        Console.WriteLine("Ошибка при загрузке: " + ex.Message);
    }
}
3
  • 1
    Слова поток и thread лучше бы убрать, так как они могут ввести в заблуждение
    – 4per
    21 апр 2020 в 12:35
  • @4per согласен, исправлено
    – aepot
    21 апр 2020 в 12:53
  • @aepot спасибо большое за пример, будем разбираться с System.Net.Http.HttpClient но уже в новых проектах. Жаль не могу отметить оба ответа как правильные.
    – Talleyran
    23 апр 2020 в 12:13

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.