0

Консольное приложение принимает путь к папке и создает в корне папку куда будут отсортированы файлы в папки по расширениям. Есть функция soft_files которая перебирает пути и переносит файлы. Мне кажется лучше разделить на две функции: одна сканирует все пути к папкам, а вторая функция переносит файлы. Как можно выполнить две функции с помощью одной функции-семафора и является ли это правильным?

import argparse
import logging
from pathlib import Path
from shutil import move
from threading import Thread, Semaphore

# Block with parsing arguments
parser = argparse.ArgumentParser(description='Console app for sorting files in threads.')
parser.add_argument('-s', '--source', required=True)
parser.add_argument('-o', '--output', default='sorted')
args = vars(parser.parse_args())
source = args.get('source')
output = args.get('output')


# list with all the folders
paths_to_folders = []


def get_folders_paths(path: Path):
    for item in path.iterdir():
        if item.is_dir():
            paths_to_folders.append(item)
            get_folders_paths(item)


def sort_files(locker: Semaphore, path: Path):
    with locker:
        for item in path.iterdir():
            if item.is_file():
                file_ext = item.suffix
                new_path = output_folder / file_ext
                try:
                    new_path.mkdir(exist_ok=True, parents=True)
                    move(item, new_path)
                except OSError as e:
                    logging.error(e)


if __name__ == '__main__':
    logging.basicConfig(level=logging.DEBUG, format="%(threadName)s =%(message)s")
    directory_path = Path(source)
    output_folder = Path(output)

    paths_to_folders.append(directory_path)
    get_folders_paths(directory_path)

    lock = Semaphore(2)

    for folder in paths_to_folders:
        thread = Thread(target=sort_files, args=(lock, folder, ))
        thread.start()
2
  • 1
    Семафор обычно используется, чтобы создать "бутылочное горлышко", например, чтобы выполнялось одновременно не более N экземпляров какого-то процесса. Я не уверен, что в вашем случае это то, что нужно. Вернее, тут зависит от диска файловой системы. Если это SSD, то распараллеливание (только более сильное, процессов на 16) вполне может ускорить процесс. А если это HDD, то лучше, наверное, к нему обращаться в один поток.
    – CrazyElf
    4 апр в 7:08
  • 1
    А насчёт собственно разделения процесса на две функции это нужно смотреть, пробовать. Мне кажется, если вас текущий вариант устраивает по скорости, то не нужно тут ничего усложнять.
    – CrazyElf
    4 апр в 7:10

1 ответ 1

0
paths_to_folders = queue.Queue()
run_event = threading.Event()
run_event.set()


def get_folders_paths(path: Path):
    try:
        for item in path.iterdir():
            ...
    finally:
        run_event.clear()


def sort_files():
    while run_event.is_set():
        try:
            path = paths_to_folders.get(timeout=1)
        except queue.Empty:
            continue
        else:
            for item in path.iterdir():
                ...


if __name__ == '__main__':
    ...
    thread = Thread(target=get_folders_paths, args=(directory_path, ))
    thread.start()

    thread = Thread(target=sort_files)
    thread.start()

    thread = Thread(target=sort_files)
    thread.start()

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.