3

Встал вопрос о создании прогресс бара выполнения программы в консоле, но как вычислить время выполнения и выводить в реальном времени процент исполнения программы. Вот пример простой рекурсивной функции которая просто обходит каталоги и выводит содержимое, как на ее примере сделать прогресс бар что бы человек понимал сколько еще ждать ?

import os


def scan_dir(path):
    print('[',path,']')

    for file in os.listdir(path):
        file_path = os.path.join(path, file)
        if os.path.isfile(file_path):
            print('\t', file)
        else:
            scan_dir(file_path)

if __name__ == '__main__':
    scan_dir('C:\djangoProjects')
1
  • 3
    если заранее до начала выполнения информации о кол-ве файлов нет (а ее взять не откуда) адекватно оценить вы не сможете. так что например по количеству элементов на первом уровне иерархии, которое заранее посчитать, но это конечно слишком грубая оценка
    – Mike
    2 авг 2017 в 10:26

2 ответа 2

2

Всё просто: разбирить процесс на 2 стадии:

  1. Посчитать всё количество файлов в каталоге, который обходите — типа оценка времени.
  2. Собственно в цикле где работаете с файлами производить отчет, какой % обработан и сколько осталось — и согласно этому изменяете свой прогресс-бар.

Но если вы прям хотите время выводить (приблизительное само собой, которое также может меняться): тоже нужно провести какую-то оценку. Нужно знать общий объем файлов, которые будут участвовать в обходу. И как как размер файлов разный можно, например, посчитать сколько времени уходит на обработку 5% файлов и на основе этого расчитать приблизительное оставшиеся время на обработку.

6
  • Если я правильно понял то сначала нужно будет пройтись по всем каталогам что бы просчитать количество файлов, а потом снова это сделать уже выводя процент, но это же удвоит время выполнения программы ? 2 авг 2017 в 10:33
  • @ИгорьИгоряныч Да, удвоит. но большинство программ кроме собственно чтения списка файлов выполняют еще какую либо работу и они обычно действуют именно так, сначала оценивают количество, а потом, при повторном проходе, уже выполняют более медленную работу.
    – Mike
    2 авг 2017 в 10:37
  • @ИгорьИгоряныч ну возможно не совсем прям удвоит. Я во внутренних механизмах ОС не силен — не знаю как идет получение размера по каждому файлу в Windows, может быть по мета-информации, которая заранее известна... Но недавно делал что-то подобное для разбора очень большого XML файла. Я только не стал время выводить, а выводил только %. Чтобы его расчитать я через PHP делал сначала подсчет количества элементов, "запоминал". А потом запускал обработку и на основе полученного значения расчитывал, сколько осталось. Подсчет был секунд 15-20, обработка файла занимала часа 2-4-6. Диски были SSDшные. 2 авг 2017 в 10:43
  • @ИгорьИгоряныч посмотрите эксперементальным путем сколько у вас займет подсчет общего размера всех файлов в вашей интересующей директории. 2 авг 2017 в 10:44
  • @ИгорьИгоряныч во время выполнения операция с файлами (вывода содержимого, или что вы хотите), также возможно придется время ещё пересчитывать — "осталось: X чего-то". Но не считать, сколько осталось объема обработать, а например, на основе, что предыдущие 10% были обработаны за 2 мин. — значит осталось 18 мин. Потом следующие 10% могут быть обработаны быстрее или медленные — значит время нужно менять с учетом оставшегося остатка объема. Потому что диск может это время быть чем-то другим нагружен или занят... Думаю смысл понятен... 2 авг 2017 в 10:55
2

Не зная заранее ни количество файлов ни сколько обработка выбранного файла может занять, вы не сможете узнать на ходу сколько осталось времени до конца выполнения программы.

Часто хорошим предсказателем времени выполнения является время выполнения прошлого запуска. При первом запуске можно показывать просто абсолютные числа (количество просмотренных директорий, файлов, среднее время на файл). При последующих запусках, можно дополнить сравнением с прошлым, что может позволить оценить "сколько ещё ждать".

К примеру, для задачи резервного копирования, если в прошлом запуске было обработано 1000 файлов, в среднем по минуте на каждый, а в текущем запуске вы на 900-ом файле, то можно написать, что оценочно ~90% сделано, осталось ~100 минут. Конечно, оценки будут ошибочными, если у вас вдруг стало 10000 файлов вместо 1000 на прошлом запуске.

Если есть желание, то и при первом запуске можно оценить время выполнения. Если время обработки одного файла заметное и уже по одному количеству файлов ясно время выполнения, то можно вхолостую обойти всё дерево директорий как @Alexander Bragin предложил. Это не должно удваивать время на обход, так как OS кэширует информацию о файловой системе обычно (диск на порядки медленнее оперативной памяти как правило).

Всё зависит от фактической задачи, какие предположения, которые могут помочь в оценке времени выполнения, являются верными в вашем конкретном случае.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.