В моём проекте есть несколько объектов, у которых есть метод parse(data) принимающий на вход словарь, производящий математические вычисления с элементами словаря и раскидывающий результаты по полям объекта. Встал вопрос о распараллеливании. Асинхронизация и разделение на потоки не имеет смысла, ибо операции завязаны на процессор и следовательно нужно раскидывать по ядрам. Вылезла проблема общей памяти. То есть, мне нужно передать в дочерний процесс объект и словарь и получить назад в родительский обработанный объект. И вот незадача: внутри дочернего процесса данные корректно обрабатываются и поля заполняются. Однако в возвращенном объекте изменены только поля содержащие примитивные типы. Списки, словари и прочее остается без изменений. Код:
import multiprocessing as mp
class Container:
value = 0
array = [0, 1, 2]
pairs = {0: 0, 1: 1, 2: 2}
def foo(data):
obj, value = data
obj.value = value
obj.array[1] = value
obj.pairs[1] = value
log('Inside:',obj)
return obj
def log(prefix: str, container: Container):
print(prefix, container.value, container.array, container.pairs)
if __name__ == "__main__":
container = Container()
log('Before:', container)
with mp.Pool(processes=1) as pool:
result = list(pool.map(foo, [(container, 5)]))
log('After:', result.pop())
Вывод:
Before: 0 [0, 1, 2] {0: 0, 1: 1, 2: 2}
Inside: 5 [0, 5, 2] {0: 0, 1: 5, 2: 2}
After: 5 [0, 1, 2] {0: 0, 1: 1, 2: 2}
Пробовал использовать Queue, но эффект тот же. Если кто-то сталкивался с таким же, и знает решение, подскажите пожалуйста, как передавать и изменять объекты между процессами?
Pool
- просто для теста? 2) Вы хотите чтобыAfter
был таким же, как 'Inside'?