Имеется около 1800 папок, в каждой txt-файлы от 1 до 2500 шт. Нужно все обработать. Я разделил все папки на диапазоны, 0..180, 181-360 и т.д. Диапазоны передал в 10 потоков. Все работает. Вопрос мой в следующем: как создать очередь потоков, к примеру также 10, но передавать туда не диапазон, а одну папку, и, чтобы отработав, поток брал следующую? Как при этом избежать блокировки, что бы одновременно освободившиеся потоки не взяли одно и то же задание?
пример моего кода
def writer(start, stop, num):
v_id_count = 0
v_Count = 0
out = open('C:\\chunks\\part_'+str(num)+'.txt', 'w')
for i in islice(dirs,start,stop):
id = i
v_id_count += 1
p = '{}\\{}'.format(path,i)
files = [z for z in os.listdir(p)]
for file in files:
file_path = '{}\\{}'.format(p, file)
f = open(file_path, 'r').read()
soup = BeautifulSoup(f, 'html.parser')
# cur = con.cursor()
v_Count_loop = 0
try:
for v in range(get_count(soup)):
string = '{};{};{};{};{};{};{}'.format(id, get_status_date(soup), get_status(soup), get_z_name(soup),get_d_name(soup),
get_method(soup, v), get_description(soup, v))
out.write(string + '\n')
v_Count += 1
v_Count_loop += 1
print('Поток {}. Вставлено {} строк. Всего вставлено {}. Обработано id {}'.format(num, v_Count_loop, v_Count, v_inn_count))
except Exception as e:
print(e)
out.close()
if __name__ == '__main__':
path = 'C:\\html'
dirs = [x for x in os.listdir(path)]
maxpoint = len(dirs)
params = []
#делим на диапазоны
for i in range(1,11):
if round(maxpoint/10 * (i-1)) == 0:
st = round(maxpoint/10 * (i-1))
else:
st = round(maxpoint/10 * (i-1)) + 1
ed = round(maxpoint/10*i)
args = st, ed, i
params.append(args)
# print(params[0])
p1 = Process(target = writer, args=params[0])
p2 = Process(target = writer, args=params[1])
p3 = Process(target = writer, args=params[2])
p4 = Process(target = writer, args=params[3])
p5 = Process(target = writer, args=params[4])
p6 = Process(target = writer, args=params[5])
p7 = Process(target = writer, args=params[6])
p8 = Process(target = writer, args=params[7])
p9 = Process(target = writer, args=params[8])
p10 = Process(target = writer, args=params[9])
p1.start()
p2.start()
p3.start()
p4.start()
p5.start()
p6.start()
p7.start()
p8.start()
p9.start()
p10.start()
p1.join()
p2.join()
p3.join()
p4.join()
p5.join()
p6.join()
p7.join()
p8.join()
p9.join()
p10.join()