0

сам я новичок, который много начитался о multithreading, multiprocessing,asyncio и requests. У меня есть задача, где должен выполняться каждый запрос последовательно (все это нужно для отлавливания ошибки после каждого запроса).

Так вот вопрос, какую библиотеку из выше сказанных использовать? Вот мне больше симпатизирует multiprocessing - я положу всю логику запросов в одну функцию (в функции будет логика только последовательных запросов с обработкой на ошибку после каждого) и потом она отработает в в другом процессе.

И дополнительный вопрос: будет ли такой процесс отрабатываться еще одним ядром?(если я не ошибаюсь, то на python код только одно ядро выделяется(из-за GIL), следовательно благодаря библиотеки multiprocessing выделяться больше ядер).

Заранее спасибо за ответы

2
  • 2
    Если нужно обрабатывать последовательно, то без причины не используйте ничего из вышесказанного. Это только усложнит (без причины) реализацию, а значит диагностику ошибок, мониторинг и поддержку. Делайте все в главном потоке. 13 фев 2022 в 19:06
  • 1
    Тут важно понимать для каких целей это нужно. Для трех запросов нет смысла, а вот тысячу запросов имеет смысл применить multithreading или asyncio. Multiprocessing лучше доверить вычисления, но не всех случаях. 13 фев 2022 в 21:52

1 ответ 1

0

В моем случае, в архитектуре есть сервис, который берет данные из шины (RabbitMQ) из разных топиков для проведения анализа. В ответ на данные алгоритм выдает свое действие в виде нескольких запрос к API.

Для примера, приведу следующую модель: есть сервисы мониторинга стоимости видеокарт в разных магазинах (допустим у нас 3 магазина => 3 сервиса). Каждый из них (producer) пушит данные в режиме реального времени в шину RabbitMQ (Kafka). Также есть 1 сервис который собирает все эти данные и проводит анализ в 1 callback функции:

https://www.rabbitmq.com/tutorials/tutorial-one-python.html 

def callback(ch, method, properties, body):
        print(" [x] Received %r" % body)
        # А тут функция реагирования - вычисления выгоды покупки и где покупать - назовем **funcMonitoring**
        # А тут функция, которая отправляет куча запросов - **funcAct**

Эта callback функция выполняется в главном потоке и вызов всяких блокирующих методов не дает нам обрабатывать все одновременно (funcMonitoring и funcAct). Моя цель сделать их выполнение асинхронно, поэтому я решил использовать вариант из этой статьи: https://bbc.github.io/cloudfit-public-docs/asyncio/asyncio-part-5.html

await asyncio.get_event_loop().run_in_executor(None,funcAct или funcMonitoring )

Обязательно ознакомьтесь с документацией loop.run_in_executor, там важная информация про аргумент pool (в коде выше у меня None - дефолтный поток).

P.S. Я мог написать и на другом языке программирования (C# и так далее), где эта задача решалась бы проще, но у заказчика требование именно на python

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.