То, что говорит Giulio Franco, справедливо для многопоточности и многопроцессорности в целом.
Однако у Python* есть дополнительная проблема: есть глобальная блокировка интерпретатора, которая предотвращает одновременное выполнение кода Python двумя потоками в одном процессе. Это означает, что если у вас 8 ядер и вы измените код для использования 8 потоков, он не сможет использовать 800% CPU и работать в 8 раз быстрее; он будет использовать тот же 100% процессор и работать с той же скоростью. (На самом деле он будет работать немного медленнее, потому что потоки связаны с дополнительными накладными расходами, даже если у вас нет общих данных, но пока игнорируйте это.)
Из этого есть исключения. Если тяжелые вычисления вашего кода на самом деле происходят не в Python, а в какой-то библиотеке с пользовательским кодом C, который правильно обрабатывает GIL, например в приложении numpy, вы получите ожидаемое преимущество производительности от потоковой обработки. То же самое верно, если тяжелые вычисления выполняются каким-то подпроцессом, который вы запускаете и ждете.
Что еще более важно, есть случаи, когда это не имеет значения. Например, сетевой сервер тратит большую часть своего времени на чтение пакетов из сети, а приложение с пользовательским графическим интерфейсом тратит большую часть своего времени на ожидание пользовательских событий. Одна из причин использования потоков на сетевом сервере или в приложении с пользовательским графическим интерфейсом состоит в том, чтобы позволить вам выполнять длительные «фоновые задачи», не мешая основному потоку продолжать обслуживание сетевых пакетов или событий графического интерфейса. И это прекрасно работает с потоками Python. (С технической точки зрения это означает, что потоки Python обеспечивают параллелизм, даже если они не обеспечивают параллелизма ядра.)
Но если вы пишете программу, привязанную к процессору, на чистом Python, использование большего количества потоков обычно не помогает.
Использование отдельных процессов не вызывает таких проблем с GIL, потому что каждый процесс имеет свой собственный отдельный GIL. Конечно, между потоками и процессами все равно есть те же компромиссы, что и в любых других языках - обмен данными между процессами сложнее и дороже, чем между потоками, запуск огромного количества процессов или частое создание и уничтожение данных и т.д. Но GIL сильно влияет на процессы, что нельзя сказать о C или Java. Таким образом, вы обнаружите, что гораздо чаще используете многопроцессорность в Python, чем в C или Java.
Между тем, философия Python «batteries included» приносит хорошие новости: очень легко писать код, который можно переключать между потоками и процессами с однострочным изменением.
Если вы разрабатываете свой код в терминах автономных «заданий», которые не имеют ничего общего с другими заданиями (или основной программой), кроме ввода и вывода, вы можете использовать concurrent.futures
библиотеку для написания кода вокруг пула потоков, как это:
with concurrent.futures.ThreadPoolExecutor(max_workers=4) as executor:
executor.submit(job, argument)
executor.map(some_function, collection_of_independent_things)
# ...
Вы даже можете получить результаты этих заданий и передать их другим заданиям, дождаться чего-то в порядке выполнения или в порядке завершения и т.д.; подробнее читайте в разделе Future objects
Теперь, если окажется, что ваша программа постоянно использует 100% CPU, а добавление большего количества потоков только замедляет ее, тогда вы сталкиваетесь с проблемой GIL, поэтому вам нужно переключиться на процессы. Все, что вам нужно сделать, это изменить эту первую строку:
with concurrent.futures.ProcessPoolExecutor(max_workers=4) as executor:
Единственное реальное предостережение - аргументы и возвращаемые значения ваших заданий должны быть поддающимися обработке (и не требовать слишком много времени или памяти для обработки), чтобы их можно было использовать в разных процессах. Обычно это не проблема, но иногда бывает.
Но что, если ваша работа не может быть автономной? Если вы можете спроектировать свой код с точки зрения заданий, которые передают сообщения от одного к другому, это все равно довольно просто. Возможно, вам придется использовать threading.Thread
или multiprocessing.Process
вместо того, чтобы полагаться на пулы. И вам нужно будет явно создавать объекты queue.Queue
или multiprocessing.Queue
(Есть много других вариантов - каналы, сокеты, файлы с скоплениями, ... но суть в том, что вам нужно что-то делать вручную, если автоматической магии Executor
недостаточно.)
Но что, если вы даже не можете полагаться на передачу сообщений? Что делать, если вам нужны два задания, чтобы мутировать одну и ту же структуру и видеть изменения друг друга? В этом случае вам нужно будет выполнить ручную синхронизацию (блокировки, семафоры, условия и т. д.) и, если вы хотите использовать процессы, явные объекты общей памяти для загрузки. Это происходит, когда многопоточность (или многопроцессорность) становится трудной задачей. Если вы можете избежать этого, отлично; если вы не можете, вам нужно будет прочитать больше, чем просто ответ на SO.
Из комментария вы хотели узнать, чем отличаются потоки и процессы в Python. На самом деле, если вы прочитаете ответ Джулио Франко, мой и все наши ссылки, они должны охватывать все ... но резюме определенно будет полезно, поэтому вот оно:
По умолчанию потоки обмениваются данными; процессоы нет.
Как следствие (1), передача данных между процессами обычно требует травления и распаковки их.**
Как еще одно следствие (1), прямое совместное использование данных между процессами обычно требует помещения их в низкоуровневые форматы, такие как Value
, Array
и ctypes
.
Процессы не подчиняются GIL.
На некоторых платформах (в основном Windows) процессы гораздо дороже создавать и уничтожать.
Существуют некоторые дополнительные ограничения на процессы, некоторые из которых различны на разных платформах. Дополнительные сведения см. В руководстве по программированию.
Модуль threading
не имеет некоторых функций модуля multiprocessing
. (Вы можете использовать multiprocessing.dummy
, чтобы получить большую часть отсутствующего API поверх потоков, или вы можете использовать модули более высокого уровня, такие как concurrent.futures
и не беспокоиться об этом.)
*На самом деле это проблему имеет не Python, а CPython, "стандартная" реализация этого языка. Некоторые другие реализации, как Jython не имеют GIL.
**Если вы используете метод fork start для многопроцессорной обработки-что можно сделать на большинстве платформ, отличных от Windows,—каждый дочерний процесс получает все ресурсы, которые были у родителя при запуске дочернего процесса, что может быть еще одним способом передачи данных дочерним процессам.
перевод ответа от участника @abarnert