Консольное приложение принимает путь к папке и создает в корне папку куда будут отсортированы файлы в папки по расширениям. Есть функция soft_files
которая перебирает пути и переносит файлы. Мне кажется лучше разделить на две функции: одна сканирует все пути к папкам, а вторая функция переносит файлы. Как можно выполнить две функции с помощью одной функции-семафора и является ли это правильным?
import argparse
import logging
from pathlib import Path
from shutil import move
from threading import Thread, Semaphore
# Block with parsing arguments
parser = argparse.ArgumentParser(description='Console app for sorting files in threads.')
parser.add_argument('-s', '--source', required=True)
parser.add_argument('-o', '--output', default='sorted')
args = vars(parser.parse_args())
source = args.get('source')
output = args.get('output')
# list with all the folders
paths_to_folders = []
def get_folders_paths(path: Path):
for item in path.iterdir():
if item.is_dir():
paths_to_folders.append(item)
get_folders_paths(item)
def sort_files(locker: Semaphore, path: Path):
with locker:
for item in path.iterdir():
if item.is_file():
file_ext = item.suffix
new_path = output_folder / file_ext
try:
new_path.mkdir(exist_ok=True, parents=True)
move(item, new_path)
except OSError as e:
logging.error(e)
if __name__ == '__main__':
logging.basicConfig(level=logging.DEBUG, format="%(threadName)s =%(message)s")
directory_path = Path(source)
output_folder = Path(output)
paths_to_folders.append(directory_path)
get_folders_paths(directory_path)
lock = Semaphore(2)
for folder in paths_to_folders:
thread = Thread(target=sort_files, args=(lock, folder, ))
thread.start()
N
экземпляров какого-то процесса. Я не уверен, что в вашем случае это то, что нужно. Вернее, тут зависит от диска файловой системы. Если этоSSD
, то распараллеливание (только более сильное, процессов на 16) вполне может ускорить процесс. А если этоHDD
, то лучше, наверное, к нему обращаться в один поток.