2

В моём проекте есть несколько объектов, у которых есть метод parse(data) принимающий на вход словарь, производящий математические вычисления с элементами словаря и раскидывающий результаты по полям объекта. Встал вопрос о распараллеливании. Асинхронизация и разделение на потоки не имеет смысла, ибо операции завязаны на процессор и следовательно нужно раскидывать по ядрам. Вылезла проблема общей памяти. То есть, мне нужно передать в дочерний процесс объект и словарь и получить назад в родительский обработанный объект. И вот незадача: внутри дочернего процесса данные корректно обрабатываются и поля заполняются. Однако в возвращенном объекте изменены только поля содержащие примитивные типы. Списки, словари и прочее остается без изменений. Код:

import multiprocessing as mp

class Container:
    value = 0
    array = [0, 1, 2]
    pairs = {0: 0, 1: 1, 2: 2}   

def foo(data):
    obj, value = data
    obj.value = value
    obj.array[1] = value
    obj.pairs[1] = value
    log('Inside:',obj)
    return obj

def log(prefix: str, container: Container):
    print(prefix, container.value, container.array, container.pairs)

if __name__ == "__main__":
    container = Container()
    log('Before:', container)
    with mp.Pool(processes=1) as pool:
        result = list(pool.map(foo, [(container, 5)]))
    log('After:', result.pop())

Вывод:

Before: 0 [0, 1, 2] {0: 0, 1: 1, 2: 2}
Inside: 5 [0, 5, 2] {0: 0, 1: 5, 2: 2}
After: 5 [0, 1, 2] {0: 0, 1: 1, 2: 2}

Пробовал использовать Queue, но эффект тот же. Если кто-то сталкивался с таким же, и знает решение, подскажите пожалуйста, как передавать и изменять объекты между процессами?

2
  • 1) Почему у вас 1 процесс в Pool - просто для теста? 2) Вы хотите чтобы After был таким же, как 'Inside'? Commented 18 мая 2022 в 7:00
  • 1. Да, для демонстрации. 2. Абсолютно верно.
    – Jhwh Inri
    Commented 18 мая 2022 в 7:04

2 ответа 2

3

Всё оказалось намного проще. Достаточно инициализировать поля в экземпляре класса, а не в самом классе, спасибо @user207200 за идею:

    def __init__(self):
        self.value = 0
        self.array = [0, 1, 2]
        self.pairs = {0: 0, 1: 1, 2: 2}

Вывод:

Before: 0 [0, 1, 2] {0: 0, 1: 1, 2: 2}
Inside: 5 [0, 5, 2] {0: 0, 1: 5, 2: 2}
After: 5 [0, 5, 2] {0: 0, 1: 5, 2: 2}

Теперь, почему это работает. При передаче объектов в другой процесс и при получении результата обратно объекты сериализуются и десериализуются. Для того, чтобы это могло делаться автоматически, у экземпляра класса должны быть видны все нужные поля. И вот в этом проблема - при десериализации питоном автоматически создаётся экземпляр класса Container, но у него ещё нет никаких своих полей, поэтому питон не понимает, куда ему копировать те поля экземпляра класса, которые вы выставили в методе foo. А вот если сделать нормальный инициализатор класса, эти поля у экземпляра класса появляются сразу при создании экземпляра и десериализация тогда проходит успешно.

Небольшое дополнительное разъяснение. В новый процесс отправляется копия объекта, которая для этого сериализуется при отправке её в новый процесс и при получении результата из этого процесса. При получении создаётся новый объект, в который копируются поля объекта после десериализации. В результате тут получается сразу три объекта:

  • исходный объект (сериализованный и переданный в новый процесс)
  • объект, автоматически созданный в новом процессе (в который десериализуется исходный объект)
  • объект, автоматически созданный после получения результата (куда десериализуется объект из нового процесса)

Ещё пояснение. При создании экземпляра класса он получает как бы копии полей класса. После изменения полей экземпляра класса эти поля начинают жить своей отдельной от класса жизнью. Это довольно тонкая тема, возможно я и сам её не до конца точно понимаю.

7
  • Да, вот с точки зрения куда десериализовать поля все становится понятно.
    – user207200
    Commented 18 мая 2022 в 8:53
  • @user207200 Хотя казалось бы какая разница - поля класса или экземпляра класса, но они там как-то по-разному у питона в списках полей отображаются, наверное, из-за этого. При обычном доступе то кажется, что нет разницы - ну поля и поля, можно даже не понимать, что происходит под капотом.
    – CrazyElf
    Commented 18 мая 2022 в 8:55
  • @CrazyElf премного благодарен за исчерпывающий ответ. Я убил на это два дня, а ответ оказался до безобразия простым) Спасибо.
    – Jhwh Inri
    Commented 18 мая 2022 в 9:10
  • @JhwhInri Я просто где-то уже с этим сталкивался, хотя не до конца эту тему и сам понимал, теперь вроде разобрался. Ну и тут надо понимать в чём вообще разница между полями класса и экземпляра класса, тоже не такая уж элементарная тема )
    – CrazyElf
    Commented 18 мая 2022 в 9:12
  • @CrazyElf, по-моему, эта тема с переменными класса и копиями описана в учебнике Чернышова в конце параграфа 5.4. Commented 18 мая 2022 в 10:29
0

Вот так работает через BaseManager, но нужно много методов обвязки для класса писать - геттеры, сеттеры, плюс менеджер создавать и в нём класс регистрировать. Наверняка как-то проще уже давно можно, я на старом ответе на английском СО базировался:

import multiprocessing as mp
from multiprocessing.managers import BaseManager

class Container(object):
    
    def __init__(self):
        self.value = 0
        self.array = [0, 1, 2]
        self.pairs = {0: 0, 1: 1, 2: 2}
    
    def set_value(self, value):
        self.value = value

    def set_array(self, index, value):
        self.array[index] = value
    
    def set_pairs(self, index, value):
        self.pairs[index] = value
        
    def get_value(self):
        return self.value

    def get_array(self):
        return self.array
    
    def get_pairs(self):
        return self.pairs
        
class ContainerManager(BaseManager):  
    pass  
    
def foo(data):
    obj, value = data
    obj.set_value(value)
    obj.set_array(1, value)
    obj.set_pairs(1, value)
    log('Inside:',obj)
    return obj

def log(prefix: str, container: Container):
    print(prefix, container.get_value(), container.get_array(), container.get_pairs())

if __name__ == "__main__":
    ContainerManager.register('Container', Container, exposed = ['set_value', 'set_array', 'set_pairs', 'get_value', 'get_array', 'get_pairs']) 
    containerManager = ContainerManager()  
    containerManager.start()  
    container = containerManager.Container()
    log('Before:', container)

    with mp.Pool(processes=1) as pool:
        result = list(pool.map(foo, [(container, 5)]))
    log('After:', result.pop())

Вывод:

Before: 0 [0, 1, 2] {0: 0, 1: 1, 2: 2}
Inside: 5 [0, 5, 2] {0: 0, 1: 5, 2: 2}
After: 5 [0, 5, 2] {0: 0, 1: 5, 2: 2}
7
  • 2
    Так вроде достаточно просто перенести поля класса в экземпляр. onlinegdb.com/eNAkcIl8O
    – user207200
    Commented 18 мая 2022 в 7:28
  • @user207200 Хм, похоже вы правы. Видимо, питон вполне понимает как сериализовать и десериализовать класс в этом случае. Напишите свой ответ )
    – CrazyElf
    Commented 18 мая 2022 в 7:45
  • Я не могу объяснить, почему это происходит именно так, до ответа не дотягивает. Еще смущает смена идентификатора объекта. Предполагал, что в Inside и After он будет сохраняться.
    – user207200
    Commented 18 мая 2022 в 8:28
  • 1
    @user207200 Так там же происходит сериализация и десериализация, поэтому конечно это разные объекты! В новый процесс отправляется копия объекта, которая для этого сериализуется и при отправке туда и при получении обратно. При получении опять же создаётся новый объект, в который копируются поля объекта после десериализации. Так что тут получается аж три объекта - исходный, в новом процессе, и после получения результата )) Собственно, из-за этого эффективность мультипроцессинга сильно падает - сериализация съедает много ресурсов. Выгодно гонять только мелкие объекты.
    – CrazyElf
    Commented 18 мая 2022 в 8:34
  • 1
    @user207200 Ладно, я накатал другой ответ. С объяснениями. Спасибо за наводку )
    – CrazyElf
    Commented 18 мая 2022 в 8:53

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.