0

В многопоточности в Python я не очень разбираюсь, посему мне нужен совет человека, который сможет подсказать мне максимально производительный и максимально правильный с точки зрения организации потоков вариант многопоточности.

Как я делал до этого. К примеру, у меня есть функция отправки http-запроса:

def http_request():
   #тело функции

class HTTPThread(threading.Thread):
    def run(self):
        try:
            http_request()
        except Exception, ex:
            pass

for i in range(5):
    while True:
        t = HTTPThread()
        t.start()

Насколько правильным или неправильным является такой способ реализации многопоточности?

3
  • Это можно сказать только на примере конкретной задачи. В данном случае, Вы создаете 5 потоков в котором отправляете запрос, и следовательно они выполняются параллельно. Да, если запросы выполняются долго, это будет быстрее, чем выполнять последовательно.
    – Firepro
    1 авг 2016 в 13:06
  • for i in range(5): while True: В этом месте идет попытка создание бесконечного количества потоков. При попытке запуска произойдет исчерпание памяти и потоков ОС с закономерным вылетом процесса через несколько секунд.
    – cridnirk
    1 авг 2016 в 14:57
  • @cridnirk вот я хочу сделать так, чтобы запросы выполнялись с определённой периодичностью. Допустим, раз в 10 секунд. И выполнялись, допустим, в 5 одновременных потоках. И так, чтобы остановить этот цикл мог я при помощи Ctrl+C. Как это можно реализовать? 1 авг 2016 в 17:57

3 ответа 3

3

Простой компактный пример использования многопоточности как раз для работы с HTTP-запросами (взят отсюда):

import Queue
import threading
import urllib2

def get_url(q, url):
    q.put(urllib2.urlopen(url).read())

urls = ["http://google.com", "http://yahoo.com"]

q = Queue.Queue()

for u in urls:
    t = threading.Thread(target=get_url, args=(q, u))
    t.daemon = True
    t.start()

s = q.get()
print s

Тут же проиллюстрирована работа с очередями, благодаря которым происходит возврат результатов вычислений из порождаемых потоков в главный поток. Без использования одного из механизмов синхронизации корректный возврат результатов был бы невозможен. Очереди же идеально подходят для этого.

Стоит добавить, что многопоточность в Python обеспечивает эффективное распараллеливание только задач, ожидающих завершения операций ввода/вывода (как в случае с ожиданием ответа на HTTP-запрос). Для вычислительных задач с нагрузкой на центральный процессор не происходит реального распараллеливания нагрузки между потоками по причине наличия GIL.

3

Еще интересный вариант - использовать пул потоков

from multiprocessing.dummy import Pool as ThreadPool

try:
    from urllib.request import urlopen
except ImportError:
    from urllib2 import urlopen


def get_url(url):
    return urlopen(url).read()

if __name__ == "__main__":
    urls = ["http://google.com", "http://yahoo.com"]

    with ThreadPool(processes=5) as pool:
        print(pool.map(get_url, urls))
0

Вот хорошие 2 статьи:

Основы работы с потоками в языке Python

Учимся писать многопоточные и многопроцессные приложения на Python

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.