Когда следует использовать async, а когда await?
2 ответа
async
, например, задает асинхронную функцию
async def f():
return 5
Или указывает, что for
асинхронный, т.е. получает значения из асинхронного генератора
async def generator():
yield 1
yield 2
yield 3
async def main():
async for x in generator():
print(x)
Или позволяет работать с асинхронной версией контекстного менеджера
async with await asyncio.start_server(callback, '127.0.0.1', 8080) as server:
await server.serve_forever()
А await
ожидает завершения awaitable
объекта и возвращает результат.
async main():
print(await f())
Их сложно перепутать: async
- это часть утверждения (statement), await
- унарный оператор, часть выражения (expression)
await
, async for
и async with
должны использоваться только внутри асинхронной функции.
Попытаюсь дополнить ответ @extrn.
async/await
- это оптимизация, т.е. использовать их категорически не надо там, где все и так работает хорошо. Ведь это усложняет логику исполнения программы и тянет за собой много всего. Потому что если решились использовать асинхронную функциональность - будьте добры использовать ТОЛЬКО библиотеки, которые это поддерживают.
Исполнение асинхронного кода подобно исполнению многопоточного кода на одноядерном процессоре. Так же существуют несколько задач, которые могут быть исполнены одновременно и есть контекст исполнения каждой задачи. Однако при многопоточности процессор сам по таймеру решает, когда переключать контекст и заниматься исполнением другой задачи.
Асинхронный подход предполагает, что в само приложение задает специальные места, где такое переключение возможно. В Python в asyncio
этими местами становятся вызовы с await
.
Если решились оптимизировать, то в первую очередь стоит вспомнить что такое и чем различаются CPU-bound и IO-bound операции. Первые постоянно задействуют ресурсы процессора, все время что-то считают и вычисляют. Вторые большую часть времени ожидают операций ввода/вывода от файловой системы, сети или еще невесть чего.
Из-за GIL в Python (CPython) CPU-bound операции невозможно оптимизировать с использованием потоков, только вынесением в отдельный процесс. Совершенно то же самое ограничение накладывается на использование асинхронного подхода, потому что асинхронный код преимущественно одноядерный и если один исполнитель будет переключаться с одного процесса на другой, где его присутствие одинаково важно - никакого толку не будет (будет гораздо хуже).
Другое дело IO-bound задачи. Яркими примерами могут служить - чтение файлов, запрос в базу данных, даже time.sleep
(который часто используется для имитации сложных IO-bound операций и есть специальный asyncio.sleep
).
Например:
def create_report(cursor, *args, **kwargs):
# выполнить какую-то подготовительную работу
data = cursor.execute(sql_query)
# обработать полученные данные и сформировать некий отчет
Здесь функция execute
не сильно нагрузит процессор, больше будет ждать ответа от базы данных. Поэтому процессору позволительно заняться в этот момент чем-нибудь другим. Но этот код синхронный, приходится ждать. Если нам надо построить очень много таких отчетов, то мы можем решиться оптимизировать это с использованием asyncio
. Давайте попробуем.
Сначала нам придется выбросить старый клиент для похода в базу данных и использовать специальный асинхронный, который будет осуществлять неблокирующий вызов.
async def create_report(cursor, *args, **kwargs):
# cursor - это уже не тот cursor, что из предыдущего примера
# выполнить какую-то подготовительную работу
data = await cursor.execute(sql_query)
# обработать полученные данные и сформировать некий отчет
Любая функция, которая использует await
обязана объявляться как async
- тут нет выбора. А await
объявляет точку в программе, в которой мы можем переключиться на другую полезную работу, если такая есть, потому что ресурсы процессора здесь не нужны. Таким образом мы сможем успеть больше.
Оставляю за скобками инициализацию event-loop и прочие прелести запуска асинхронных программ.
Очень важно - сказал "А" (async
), говори "B" (await
), друг без друга они не существуют.
Крайне внятной я нашел следующую информацию:
Async IO in Python: A Complete Walkthrough
Getting Started With Async Features in Python
Не знаю, есть ли в интернете перевод этого добра, но если нужен, я мог бы подготовить.
Напоследок, интересное утверждение: "используйте асинхронность, когда можете, а потоки - когда должны".
-
4Небольшое уточнение: переключением нативных потоков и процессов занимается планировщик операционки, а не процессор. Или, если это зелёные потоки, то - рантайм/виртуальная машина.– zed17 янв 2020 в 13:44