5

Подскажите, как реализовать многопоточность в Jupyter Notebook. Например, я хочу обработать некоторые данные, и записать результат в массив или в файл.

Делаю например так:

def test_this(elem, test_list):
    test_list.append(elem)

procs = []
test_list = []
for elem in ["one", "two", "tree"]:
    proc = Process(target=test_this, args=(elem,test_list))
    procs.append(proc)
    proc.start()

for proc in procs:
    proc.join()

test_list получается пустой

делаю вот так:

with Pool(20) as p:
    p.map(test_this, ["one", "two", "tree"])

ячейка зависает навечно.

Что я делаю не так?

2
  • полные (но минимальные) примеры кода приведите, которые проблему демонстрируют. К примеру, добавьте импорты. У вас тут две разные проблемы (значение списка в разных процессах и работа с пулом процессов в jupyter). Стоит различать процессы и потоки.
    – jfs
    12 июл 2018 в 5:22
  • на Linux не виснет
    – jfs
    12 июл 2018 в 5:36

1 ответ 1

1

Чтобы обойти известные проблемы с multiprocessing.Pool в интерактивном случае (таком как работа в jupyter notebook), можно использовать multiprocess модуль:

#!/usr/bin/env python3
# from multiprocessing import Pool, set_start_method # hangs on Windows and/or with spawn, forkserver methods
from multiprocess import Pool, set_start_method  #! pip install multiprocess

def double(s):
    return s*2

if __name__ == "__main__":
   # set_start_method('fork')  # works
   # set_start_method('spawn') # XXX hangs with stdlib multiprocessing
   # set_start_method('forkserver')  #XXX hangs with stdlib multiprocessing
   with Pool() as pool:
       print(*pool.map(double, ["one", "two", "tree"]))

Чтобы заработал пример с stdlib multiprocessing, необходимо double функцию сделать pickable, к примеру, поместив её в отдельный модуль (см. Jupyter notebook never finishes processing using multiprocessing (Python 3)):

#!/usr/bin/env python3
from multiprocessing import Pool, set_start_method 
from mp_functions import double

if __name__ == "__main__":
   with Pool() as pool:
       print(*pool.map(double, ["one", "two", "tree"]))

Первый пример с multiprocess вероятно работает так как он использует dill вместо pickle для сериализации.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.