0

В многопоточности в Python я не очень разбираюсь, посему мне нужен совет человека, который сможет подсказать мне максимально производительный и максимально правильный с точки зрения организации потоков вариант многопоточности.

Как я делал до этого. К примеру, у меня есть функция отправки http-запроса:

def http_request():
   #тело функции

class HTTPThread(threading.Thread):
    def run(self):
        try:
            http_request()
        except Exception, ex:
            pass

for i in range(5):
    while True:
        t = HTTPThread()
        t.start()

Насколько правильным или неправильным является такой способ реализации многопоточности?

3
  • Это можно сказать только на примере конкретной задачи. В данном случае, Вы создаете 5 потоков в котором отправляете запрос, и следовательно они выполняются параллельно. Да, если запросы выполняются долго, это будет быстрее, чем выполнять последовательно.
    – Firepro
    1 авг 2016 в 13:06
  • for i in range(5): while True: В этом месте идет попытка создание бесконечного количества потоков. При попытке запуска произойдет исчерпание памяти и потоков ОС с закономерным вылетом процесса через несколько секунд.
    – cridnirk
    1 авг 2016 в 14:57
  • @cridnirk вот я хочу сделать так, чтобы запросы выполнялись с определённой периодичностью. Допустим, раз в 10 секунд. И выполнялись, допустим, в 5 одновременных потоках. И так, чтобы остановить этот цикл мог я при помощи Ctrl+C. Как это можно реализовать? 1 авг 2016 в 17:57

3 ответа 3

3

Простой компактный пример использования многопоточности как раз для работы с HTTP-запросами (взят отсюда):

import Queue
import threading
import urllib2

def get_url(q, url):
    q.put(urllib2.urlopen(url).read())

urls = ["http://google.com", "http://yahoo.com"]

q = Queue.Queue()

for u in urls:
    t = threading.Thread(target=get_url, args=(q, u))
    t.daemon = True
    t.start()

s = q.get()
print s

Тут же проиллюстрирована работа с очередями, благодаря которым происходит возврат результатов вычислений из порождаемых потоков в главный поток. Без использования одного из механизмов синхронизации корректный возврат результатов был бы невозможен. Очереди же идеально подходят для этого.

Стоит добавить, что многопоточность в Python обеспечивает эффективное распараллеливание только задач, ожидающих завершения операций ввода/вывода (как в случае с ожиданием ответа на HTTP-запрос). Для вычислительных задач с нагрузкой на центральный процессор не происходит реального распараллеливания нагрузки между потоками по причине наличия GIL.

3

Еще интересный вариант - использовать пул потоков

from multiprocessing.dummy import Pool as ThreadPool

try:
    from urllib.request import urlopen
except ImportError:
    from urllib2 import urlopen


def get_url(url):
    return urlopen(url).read()

if __name__ == "__main__":
    urls = ["http://google.com", "http://yahoo.com"]

    with ThreadPool(processes=5) as pool:
        print(pool.map(get_url, urls))
0

Вот хорошие 2 статьи:

Основы работы с потоками в языке Python

Учимся писать многопоточные и многопроцессные приложения на Python

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.