1

Как можно, используя python, в частности os.walk() (хотя возможно и не только эту функцию?), подсчитать количество вложенных каталогов на каждом из уровней?

Т.е., например, есть такая структура:

A\B1\C1
....\C2
....\C3
.\B2\D1
....\D2
.\B3\E1

Хочется в итоге иметь значения количества директорий для каждого уровня:

num1 == [1]
num2 == [3]
num3 == [3, 2, 1]
9
  • Какие у вас сложности возникли с использованием os.walk()? Попробуйте словарь: имя папки -> количество вложенных папок: {dirpath: len(dirs) for dirpath, dirs, _ in os.walk(rootdir)}
    – jfs
    11 окт 2017 в 13:17
  • Тут проблема с тем, какую структуру данных в итоге надо получить. Дерево папок получить просто: def foo: return {f: foo(join(path, f)) for f in [f for f in listdir(path) if isdir(join(path, f))]}, длина каждого словаря - искомое число, но как представить дерево в виде списка (списка списков).
    – andy.37
    11 окт 2017 в 13:46
  • Словарь {dirpath: len(dirs) for dirpath, dirs, _ in os.walk(rootdir)} -- хорошая идея, но всё же я не понимаю, как его дальше преобразовать к нужному мне виду. Ведь в dirpath будет перечисление всех директорий, содержащихся в rootdir, причем, в чем и загвоздка - не единожды. 11 окт 2017 в 14:35
  • @Дмитрий: 1- что является "нужным мне виду"? Руками писать num1, num2, num3 не работает для любой директории, в которой не три вложенных папки. Зачем вам вообще списки num1, num2, num3? как вы их хотите использовать? 2- "причем, в чем и загвоздка - не единожды." -- это невозможно сразу по двум причинам (любой одной достаточно): ключи в словарях уникальны и os.walk() каждый dirpath только однажды выдаёт.
    – jfs
    12 окт 2017 в 8:41
  • @jfs Нужный вид -- это список списков, длина внешнего списка -- максимальная глубина вложенности директорий начиная с указанной корневой, а внутренние списки должны содержать количество папок, содержащихся на уровень ниже. Для приведённой в вопросе директории A ответом будет [[1], [3], [3, 2, 1]]. 12 окт 2017 в 8:57

2 ответа 2

1

Чтобы посчитать количество дочерних папок на каждом уровне вложенности, удобно рекурсивную функцию использовать, чтобы легко текущую глубину (depth) отслеживать:

def get_nested_counts(rootdir):
    def count_subdirs(dirs, depth):
        if len(counts) == depth:
            counts.append([])  # add new deeper level
        counts[depth].append(len(dirs))
        for path in dirs:
            subdirs = [entry for entry in os.scandir(path)
                       if entry.is_dir(follow_symlinks=False)]
            if subdirs:  # if there are subdirs
                count_subdirs(subdirs, depth + 1)  # make recursive call

    counts = []
    count_subdirs([rootdir], 0)
    return counts

К примеру, для структуры директорий из вопроса:

$ tree -d A
A
├── B1
│   ├── C1
│   ├── C2
│   └── C3
├── B2
│   ├── D1
│   └── D2
└── B3
    └── E1
>>> get_nested_counts('A')
[[1], [3], [2, 1, 3]]

Порядок обхода директорий на одном уровне не определён (что os.scandir() возвращает). Ноль (отсутствие дочерних папок) не записывается.

4
  • Обход каталогов -- неатомарная операция почти на любой ФС. Чтобы гарантировать консистентный результат, надо цепляться к сервису типа inotify. Обратите внимание на слово консистентный. Т.е. он не может быть 100% правильным, но очень часто может совпадать с правильным (в учебных случаях думаю до 99.99999% вероятности).
    – 0andriy
    13 окт 2017 в 9:50
  • @0andriy о семи девятках, не зная точной задачи, бессмысленно говорить. В зависимости от задачи, можно начать с добавления обработки ошибок (доступа), замены рекурсии на явный цикл. Если вас такие вещи как атомарность, consistency интересуют, то следует настоящую базу данных использовать с ACID транзакциями (A-atomicity, C—consistency) вместо файловой системы.
    – jfs
    13 окт 2017 в 10:24
  • вы просили пример, когда ваш ответ даст неверный результат, я вам его привёл (любой параллельный процесс, который создаёт или удаляет каталоги внутри исследуемого).
    – 0andriy
    13 окт 2017 в 13:51
  • @0andriy мы с вами по разному задачу понимаем. Код работает как и ожидается. Ещё раз: в зависимости от фактической задачи, можно расширить его. Но учитывая постановку задачи в вопросе, это безумие говорить об атомарности, «консистентном результате», на данном этапе, а inotify здесь как седло на свинье полезно.
    – jfs
    13 окт 2017 в 14:49
0

Просто с помощью функции для понимания как это работает:

import os

def scan_dir(path):
    file_count = 0
    catalog_count = 0
    for file in os.listdir(path):
        file_path = os.path.join(path, file)
        if os.path.isfile(file_path):
            file_count += 1
        else:
            catalog_count +=1
            scan_dir(file_path)
    print('[',path,']\n\t', 'files: %s' % file_count, 'catalogs: %s' % catalog_count)

С помощью os.walk() можно все вообще в 2 строчки уложить:

import os

src = 'C:\c'
for dir_name, dirs, files in os.walk(src):
    print(dir_name, len(dirs))
0

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.