6

Разрабатываю приложение, которое должно скачать файл с web адреса на компьютер и дальше его обработать.
Задачу вроде реализовал, все работает и тут ко мне обратился клиент и говорит:

У меня интернет медленный и имеет частые обрывы соединения, не можешь дать прямую ссылку, а то программа качает файл по новой.

И вот собственно я пытаюсь исправить эту проблему, а точнее надо сделать следующие 2 вещи:

  1. Возобновление загрузки файла, после обрыва соединения. - Частично решил при помощи буфера, кратковременные обрывы вроде как говорят гасит.
  2. Докачать уже имеющийся "Огрызок", который остался после предыдущего процесса неудачного скачивания.

Сейчас процесс скачивания файла выглядит примерно так:

private async Task ProcessContentStream(long? totalDownloadSize, Stream contentStream)
{
    var totalBytesRead = 0L;
    var readCount = 0L;
    var buffer = new byte[4096];
    var isMoreToRead = true;

    using (var fileStream = new FileStream(_destinationFilePath, FileMode.Create, FileAccess.Write, FileShare.None, 4096, true))
    {
        do
        {
            var bytesRead = await contentStream.ReadAsync(buffer, 0, buffer.Length);
            if (bytesRead == 0)
            {
                isMoreToRead = false;
                TriggerProgressChanged(totalDownloadSize, totalBytesRead);
                continue;
            }

            await fileStream.WriteAsync(buffer, 0, bytesRead);

            totalBytesRead += bytesRead;
            readCount += 1;

            if (readCount % 100 == 0)
                TriggerProgressChanged(totalDownloadSize, totalBytesRead);
        }
        while (isMoreToRead);
    }
}

То есть мы с сервера берем кусок (буфер) и записываем его в FileStream до тех пор, пока сервер не отдаст нам весь файл.

Я пробовал:

  • При запуске сдвигать позицию Stream'ов до fileStream.Length (текущего размера файла), но HttpClient отдает обычный Stream, который имеет CanSeek = false, то есть я не могу с сервера начать получать данные с определенной точки, только с самого начала.
  • Я пробовал пропускать запись в файл (await fileStream.WriteAsync(buffer, 0, bytesRead);) до тех пор, пока кол-во полученных с сервера данных не будет равно текущему размеру файла, то есть делаю нечто такое (набросок):

    if (totalBytesRead >= fileStream.Length)
        await fileStream.WriteAsync(buffer, 0, bytesRead);
    

    Но по ощущениям, из за await contentStream.ReadAsync(buffer, 0, buffer.Length); я данные все равно качаю с сервера, но только не записываю, а в результате получаю битый файл, который имеет разрыв ровно в том месте, где остановилась загрузка. Тут скорей всего происходит подобное из за того, что буфер был не до конца записан при закрытие приложения и при повторной загрузке мне надо файл начать записывать на 1 "буфер" раньше, но как это сделать так и не понял.

Короче, я в тупике и без понятия как докачать уже существующий файл на диске, посла обрыва/закрытия приложения. Было бы супер, если бы вы научили меня брать с сервера байты с определенной позиции, не затрагивая начало (Seek в Stream), тогда можно наверно после разрыва запросить эти байты и продолжить закачку, или есть другие варианты?

15
  • 1
    я не могу с сервера начать получать данные с определенной точки - но ты можешь указать в запросе с какого байта надо качать. Не совсем понятно, сервер тоже твой?
    – Grundy
    14 апр 2020 в 23:31
  • @Grundy Там есть файл с "зеркалами", из которого берется адрес. Мой сервер не всегда доступен может быть и на этот случай файлы размещены в облаках (которые имеют ограничения). В основном да, файл качается с моего IIS сервера по прямой ссылке. Хм, а как в запросе указать с какого места брать данные? Для своих тестов я использовал файлы от сюда и проверял их потом по Md5.
    – EvgeniyZ
    14 апр 2020 в 23:39
  • 2
    @EvgeniyZ, заголовок Range ? Разве нет? Только придется запоминать место разрыва, куда нибудь, например в кеш.
    – user206435
    14 апр 2020 в 23:49
  • 1
    Кстати, у FileStream стоит буфер 4096. И если он не заполнен, то он точно не будет записан на диск при закрытии программы, даже если в нем что-то есть. Пока не придумал, что с этим можно сделать. Собственно из-за него и приходится делать шагать еще на буфер в зад. Я бы кстати не стал использовать такой маленький буфер для записи в файл, потому что стоит минимизировать количество обращений к диску. Есть конечно filestream.Flush(), но как его вызвать при закрытии программы, пока не понятно.
    – aepot
    15 апр 2020 в 14:35
  • 1
    @EvgeniyZ хорошо, учтите тогда вариант, когда размер файла меньше 2 буферов, чтобы шаг назад в минус не сделать :) Еще хотел изначально посоветовать увеличить буфер, как минимум раза в 2. Это сделает в 2 раза меньше итераций и меньше будет нагружать диск. У меня 16кб буфер на загрузке данных стоит, потому что 8кб грузил проц (про 4кб я молчу), но у меня скорость загрузки выше 50 Мбит/с была. Поэтому для вас 8кб будет оптимально, кмк.
    – aepot
    15 апр 2020 в 15:58

1 ответ 1

4

В общем да, спасибо всем, что помогли и натолкнули на Заголовок Range.

  • Сделал метод, который возвращает текущий размер файла с "откатом" на размер буфера:

    private long GetFileSize()
    {
        long? fileSize = null;
        if (_isExist)
        {
            fileSize = new FileInfo(_destinationFilePath)?.Length;
    
            var tail = fileSize % _bufferSize;
            if (tail != 0) fileSize -= _bufferSize;
        }
    
        return fileSize ?? 0L;
    }
    

    Результатом он выдаст либо 0, либо размер файла - размер буфера.

  • Дальше переписал отправку запроса на такое:

    var request = new HttpRequestMessage { RequestUri = new Uri(_downloadUrl) };
    request.Headers.Range = new RangeHeaderValue(_fileSize, null);
    using var response = await _httpClient.SendAsync(request, HttpCompletionOption.ResponseHeadersRead);
    
    • RangeHeaderValue(_fileSize, null); - отправляем серверу размер ранее полученного файла и берем весь остаток. Если 0 - сервер отдает все.
    • _httpClient.SendAsync(...) - отправляем на сервер GET запрос с Range заголовком.
  • У FileStream установил FileMode.OpenOrCreate, чтоб файл не перезписывало.

  • Перед чтением данных с сервера задаю позицию FileStream на размер файла, который ранее получили:

    fileStream.Seek(_fileSize, SeekOrigin.Begin);
    

Собственно и все, что необходимо для продолжения скачивания файла. Сам код сейчас примерно такой (черновик):

public class DownloadManager : IDisposable
{
    private readonly HttpClient _httpClient;

    private readonly string _downloadUrl;
    private readonly string _destinationFilePath;
    private long _fileSize;
    private long? _totalFileSize;
    private bool _isExist;
    private const int _bufferSize = 8192;

    private int _connections;

    public delegate void ProgressChangedHandler(long? totalFileSize, long totalBytesDownloaded, double? progressPercentage);
    public event ProgressChangedHandler ProgressChanged;

    public DownloadManager(string downloadUrl, string destinationFilePath)
        => (_downloadUrl, _destinationFilePath, _httpClient)
        = (downloadUrl, destinationFilePath, new HttpClient());

    public async Task StartDownload()
    {
        bool isConnect = false;
        do
        {
            try
            {
                using var sizeRequest = await _httpClient.GetAsync(_downloadUrl, HttpCompletionOption.ResponseHeadersRead);
                _totalFileSize = sizeRequest.Content.Headers.ContentLength;
                isConnect = true;
                _connections = 0;
            }
            catch (Exception e)
            {
                Console.WriteLine(e.Message);
                _connections++;
                await Task.Delay(TimeSpan.FromSeconds(5));
            }

        } while (!isConnect && _connections <= 15);

        if (!isConnect) return;

        _isExist = File.Exists(_destinationFilePath);
        _fileSize = GetFileSize();

        var request = new HttpRequestMessage { RequestUri = new Uri(_downloadUrl) };
        request.Headers.Range = new RangeHeaderValue(_fileSize, null);
        using var response = await _httpClient.SendAsync(request, HttpCompletionOption.ResponseHeadersRead);
        await DownloadFileFromHttpResponseMessage(response);
    }

    private async Task DownloadFileFromHttpResponseMessage(HttpResponseMessage response)
    {
        Console.WriteLine($"[{response.StatusCode}]: {response.RequestMessage}");

        if (response.IsSuccessStatusCode)
        {
            using var contentStream = await response.Content.ReadAsStreamAsync();
            await ProcessContentStream(_totalFileSize, contentStream);
        }
        else
        {
            if (_fileSize != _totalFileSize)
                response.EnsureSuccessStatusCode();
        }
    }

    private async Task ProcessContentStream(long? totalDownloadSize, Stream contentStream)
    {
        var buffer = new byte[_bufferSize];
        var totalBytesRead = _fileSize;
        var isMoreToRead = true;
        var readCount = 0L;

        using (var fileStream = new FileStream(_destinationFilePath, FileMode.OpenOrCreate, FileAccess.Write, FileShare.None, _bufferSize, true))
        {
            fileStream.Seek(_fileSize, SeekOrigin.Begin);

            do
            {
                int bytesRead = 0;

                try
                {
                    bytesRead = await contentStream.ReadAsync(buffer, 0, buffer.Length);
                }
                catch (Exception e)
                {
                    Console.WriteLine(e.Message);

                    await fileStream.FlushAsync();
                    fileStream.Close();
                    fileStream.Dispose();
                    await StartDownload();
                    return;
                }


                if (bytesRead == 0)
                {
                    isMoreToRead = false;
                    TriggerProgressChanged(totalDownloadSize, totalBytesRead);
                    continue;
                }

                await fileStream.WriteAsync(buffer, 0, bytesRead);

                totalBytesRead += bytesRead;
                readCount += 1;

                if (readCount % 100 == 0)
                    TriggerProgressChanged(totalDownloadSize, totalBytesRead);
            }
            while (isMoreToRead);
        }

        Console.WriteLine(_destinationFilePath.GetMD5());
    }

    private void TriggerProgressChanged(long? totalDownloadSize, long totalBytesRead)
    {
        if (ProgressChanged == null)
            return;

        double? progressPercentage = null;
        if (totalDownloadSize.HasValue)
            progressPercentage = Math.Round((double)totalBytesRead / totalDownloadSize.Value * 100, 2);

        ProgressChanged(totalDownloadSize, totalBytesRead, progressPercentage);
    }

    private long GetFileSize()
    {
        long? fileSize = null;
        if (_isExist)
        {
            fileSize = new FileInfo(_destinationFilePath)?.Length;

            var tail = fileSize % _bufferSize;
            if (tail != 0) fileSize -= _bufferSize;
        }

        return fileSize ?? 0L;
    }

    public void Dispose() => _httpClient?.Dispose();
}

Издевательства по типу:

  • Открытие/закрытие окна каждые 3-5%.
  • Отключение интернета.
  • Заморозки процесса на длительное время.

код успешно прошел, файл всегда докачивался и имел всегда верный Md5 и размер.
Осталось подчистить, привести все в порядок, пару проверок добавить, событий и можно использовать)

9
  • Я в своем коде тоже репорчу прогресс загрузки, и дергаю коллбэк только когда количество загруженных процентов меняется по отношению к прошлой итерации. Но у меня только прогрессбар на основе процентов, поэтому обновлять его больше чем 100 раз за 1 файл нет смысла. Хотя, у меня 1 ответ API не больше 25 мегабайт весит и приезжает за считанные секунды. А так, отличная работа! Приятно видеть восьмой шарп здесь. :) Еще увидел крутой и хитрый синтаксис в конструкторе, спасибо!
    – aepot
    15 апр 2020 в 22:26
  • @aepot Тут все зависит от размера файла, надо бы это вовсе сделать динамическим значением, ибо если я поставлю большое значение для маленького файла, то выдаст всего +- пару значений (например если поставлю 1000, то выдаст 63% и 100% при загрузке файла в 10мб), вот высчитать бы как то это число под размер файла, чтоб выводило всего только раз в 1%.
    – EvgeniyZ
    16 апр 2020 в 12:11
  • Легко int progress = 0 int oldProgress = 0 и в цикле totalBytesRead += bytesRead oldProgress = progress progress = (int)(totalBytesRead * 100 / totalDownloadSize) if (oldProgress != progress) TriggerProgressChanged(progress)
    – aepot
    16 апр 2020 в 12:49
  • То есть в отчетное событие можно отправлять уже высчитанное процентное значение.
    – aepot
    16 апр 2020 в 12:52
  • @aepot Высчитывать процент каждую итерацию как по мне не очень хорошо, тут наверно стоит сделать нечто такое: var quota = _totalFileSize.Value / _bufferSize / 100; и высчитывать/выводить процент уже тогда, когда readCount % quota == 0.
    – EvgeniyZ
    16 апр 2020 в 13:01

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.