4

Я учусь использовать модули threading и multiprocessing в Python для параллельного выполнения определенных операций и ускорения моего кода.

Мне сложно (может быть, потому что у меня нет никаких теоретических знаний об этом) понять, в чем разница между объектом threading.Thread() и multiprocessing.Process().

Кроме того, мне не совсем ясно, как создать экземпляр очереди заданий и иметь только 4 (например) из них, работающих параллельно, в то время как другие ждут освобождения ресурсов перед выполнением.

Я нахожу примеры в документации ясными, но не очень исчерпывающими. Как только я пытаюсь немного усложнить ситуацию, я получаю много странных ошибок.

Итак, когда мне следует использовать модули threading и multiprocessing?

Можете ли вы связать меня с некоторыми ресурсами, которые объясняют концепции, лежащие в основе этих двух модулей, и способы их правильного использования для сложных задач?

перевод вопроса What are the differences between the threading and multiprocessing modules? от участника @lucacerone

1

2 ответа 2

5

То, что говорит Giulio Franco, справедливо для многопоточности и многопроцессорности в целом.

Однако у Python* есть дополнительная проблема: есть глобальная блокировка интерпретатора, которая предотвращает одновременное выполнение кода Python двумя потоками в одном процессе. Это означает, что если у вас 8 ядер и вы измените код для использования 8 потоков, он не сможет использовать 800% CPU и работать в 8 раз быстрее; он будет использовать тот же 100% процессор и работать с той же скоростью. (На самом деле он будет работать немного медленнее, потому что потоки связаны с дополнительными накладными расходами, даже если у вас нет общих данных, но пока игнорируйте это.)

Из этого есть исключения. Если тяжелые вычисления вашего кода на самом деле происходят не в Python, а в какой-то библиотеке с пользовательским кодом C, который правильно обрабатывает GIL, например в приложении numpy, вы получите ожидаемое преимущество производительности от потоковой обработки. То же самое верно, если тяжелые вычисления выполняются каким-то подпроцессом, который вы запускаете и ждете.

Что еще более важно, есть случаи, когда это не имеет значения. Например, сетевой сервер тратит большую часть своего времени на чтение пакетов из сети, а приложение с пользовательским графическим интерфейсом  тратит большую часть своего времени на ожидание пользовательских событий. Одна из причин использования потоков на сетевом сервере или в приложении с пользовательским графическим интерфейсом состоит в том, чтобы позволить вам выполнять длительные «фоновые задачи», не мешая основному потоку продолжать обслуживание сетевых пакетов или событий графического интерфейса. И это прекрасно работает с потоками Python. (С технической точки зрения это означает, что потоки Python обеспечивают параллелизм, даже если они не обеспечивают параллелизма ядра.)

Но если вы пишете программу, привязанную к процессору, на чистом Python, использование большего количества потоков обычно не помогает.

Использование отдельных процессов не вызывает таких проблем с GIL, потому что каждый процесс имеет свой собственный отдельный GIL. Конечно, между потоками и процессами все равно есть те же компромиссы, что и в любых других языках - обмен данными между процессами сложнее и дороже, чем между потоками, запуск огромного количества процессов или частое создание и уничтожение данных и т.д. Но GIL сильно влияет на процессы, что нельзя сказать о C или Java. Таким образом, вы обнаружите, что гораздо чаще используете многопроцессорность в Python, чем в C или Java.


Между тем, философия Python «batteries included» приносит хорошие новости: очень легко писать код, который можно переключать между потоками и процессами с однострочным изменением.

Если вы разрабатываете свой код в терминах автономных «заданий», которые не имеют ничего общего с другими заданиями (или основной программой), кроме ввода и вывода, вы можете использовать concurrent.futures библиотеку для написания кода вокруг пула потоков, как это:

with concurrent.futures.ThreadPoolExecutor(max_workers=4) as executor:
    executor.submit(job, argument)
    executor.map(some_function, collection_of_independent_things)
    # ... 

Вы даже можете получить результаты этих заданий и передать их другим заданиям, дождаться чего-то в порядке выполнения или в порядке завершения и т.д.; подробнее читайте в разделе Future objects

Теперь, если окажется, что ваша программа постоянно использует 100% CPU, а добавление большего количества потоков только замедляет ее, тогда вы сталкиваетесь с проблемой GIL, поэтому вам нужно переключиться на процессы. Все, что вам нужно сделать, это изменить эту первую строку:

with concurrent.futures.ProcessPoolExecutor(max_workers=4) as executor:

Единственное реальное предостережение - аргументы и возвращаемые значения ваших заданий должны быть поддающимися обработке (и не требовать слишком много времени или памяти для обработки), чтобы их можно было использовать в разных процессах. Обычно это не проблема, но иногда бывает.


Но что, если ваша работа не может быть автономной? Если вы можете спроектировать свой код с точки зрения заданий, которые передают сообщения от одного к другому, это все равно довольно просто. Возможно, вам придется использовать threading.Thread или multiprocessing.Process вместо того, чтобы полагаться на пулы. И вам нужно будет явно создавать объекты queue.Queue или multiprocessing.Queue(Есть много других вариантов - каналы, сокеты, файлы с скоплениями, ... но суть в том, что вам нужно что-то делать вручную, если автоматической магии Executor недостаточно.)

Но что, если вы даже не можете полагаться на передачу сообщений? Что делать, если вам нужны два задания, чтобы мутировать одну и ту же структуру и видеть изменения друг друга? В этом случае вам нужно будет выполнить ручную синхронизацию (блокировки, семафоры, условия и т. д.) и, если вы хотите использовать процессы, явные объекты общей памяти для загрузки. Это происходит, когда многопоточность (или многопроцессорность) становится трудной задачей. Если вы можете избежать этого, отлично; если вы не можете, вам нужно будет прочитать больше, чем просто ответ на SO.


Из комментария вы хотели узнать, чем отличаются потоки и процессы в Python. На самом деле, если вы прочитаете ответ Джулио Франко, мой и все наши ссылки, они должны охватывать все ... но резюме определенно будет полезно, поэтому вот оно:

  1. По умолчанию потоки обмениваются данными; процессоы нет.

  2. Как следствие (1), передача данных между процессами обычно требует травления и распаковки их.**

  3. Как еще одно следствие (1), прямое совместное использование данных между процессами обычно требует помещения их в низкоуровневые форматы, такие как Value, Array и ctypes.

  4. Процессы не подчиняются GIL.

  5. На некоторых платформах (в основном Windows) процессы гораздо дороже создавать и уничтожать.

  6. Существуют некоторые дополнительные ограничения на процессы, некоторые из которых различны на разных платформах. Дополнительные сведения см. В руководстве по программированию.

  7. Модуль threading не имеет некоторых функций модуля multiprocessing. (Вы можете использовать multiprocessing.dummy, чтобы получить большую часть отсутствующего API поверх потоков, или вы можете использовать модули более высокого уровня, такие как concurrent.futures и не беспокоиться об этом.)


*На самом деле это проблему имеет не Python, а CPython, "стандартная" реализация этого языка. Некоторые другие реализации, как Jython не имеют GIL.

**Если вы используете метод fork start для многопроцессорной обработки-что можно сделать на большинстве платформ, отличных от Windows,—каждый дочерний процесс получает все ресурсы, которые были у родителя при запуске дочернего процесса, что может быть еще одним способом передачи данных дочерним процессам.


перевод ответа от участника @abarnert

3

В одном процессе может существовать несколько потоков. Потоки, принадлежащие одному и тому же процессу, используют одну и ту же область памяти (могут читать и записывать одни и те же переменные и могут мешать друг другу). Напротив, разные процессы живут в разных областях памяти, и у каждого из них есть свои переменные. Для связи процессы должны использовать другие каналы (файлы, каналы или сокеты).

Если вы хотите распараллелить вычисление, вам, вероятно, понадобится многопоточность, потому что вы, вероятно, хотите, чтобы потоки взаимодействовали в одной и той же памяти.

Говоря о производительности, потоки создаются и управляются быстрее, чем процессы (потому что ОС не нужно выделять целую новую область виртуальной памяти), а межпотоковое взаимодействие обычно быстрее, чем межпроцессное взаимодействие. Но потоки сложнее программировать. Потоки могут мешать друг другу и могут записывать в память друг друга, но способ, которым это происходит, не всегда очевиден (из-за нескольких факторов, в основном переупорядочения инструкций и кэширования памяти), и поэтому вам понадобятся примитивы синхронизации для управления доступом, к вашим переменным.

перевод ответа от участника @GiulioFranco

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.