Возникла необходимость разделить большую работу на куски и отдать на выполнение каждому ядру процессора, а после результаты собрать и объединить в один общий. Прочитал статью, вдохновился и ... подавился.
Вот мой код, который работает
import concurrent.futures
from collections import defaultdict
data = []
def prepare_data():
data.append(1)
data.append(2)
data.append(3)
def do_work(my_data):
combination_frequency = []
for i in my_data:
total = 0
for k in range(2000):
total += k**k
combination_frequency = i+1
return combination_frequency
if __name__ == '__main__':
prepare_data()
with concurrent.futures.ProcessPoolExecutor() as executor:
cores = 2
results = [executor.submit(do_work, data) for _ in range(cores)]
all_results = []
for f in concurrent.futures.as_completed(results):
all_results.append(f.result())
print(all_results)
Простенькая функция do_work
, которая получает какие-то данные для работы и возвращает потом результат. Ниже я как будто бы отдаю какой-то кусок работы на отдельное ядро и запускаю работу. В конце получаю все результаты и объединяю их. В примере выше всё работает. Однако если я попробую вернуть многомерный словарь, возникает ошибка - AttributeError: Can't pickle local object 'do_work.<locals>.<lambda>'
import concurrent.futures
from collections import defaultdict
data = []
def prepare_data():
data.append(1)
data.append(2)
data.append(3)
def do_work(my_data):
combination_frequency = defaultdict(lambda: defaultdict(list))
for i in my_data:
total = 0
for k in range(2000):
total += k**k
combination_frequency['s']['bb'] = i+1
return combination_frequency
if __name__ == '__main__':
prepare_data()
with concurrent.futures.ProcessPoolExecutor() as executor:
cores = 2
results = [executor.submit(do_work, data) for _ in range(cores)]
all_results = []
for f in concurrent.futures.as_completed(results):
all_results.append(f.result())
print(all_results)
Почему мне нужны многомерные словари - в моём предыдущем вопросе.
Как быть? Что можно сделать?