Асинхронщина вас спасет, или используйте очереди (например https://github.com/nvie/rq/, celery)
import random
import aiohttp
import asyncio
@asyncio.coroutine
def get_img_url(name="foo0", timer=0):
"""
Это асинхронная функция, для получения результатов запроса по URI
"""
img_url = yield from aiohttp.request(
'GET', "http://example.com/api/get/img/url")
if random.choice([True, True, True, False]): # задержка включается
# по рандому, поэтому рано или поздно наш скрипт завершится :)
yield from asyncio.sleep(timer)
print(name)
return img_url
def run_tasks():
tasks = [
get_img_url(),
get_img_url("foo1", 3),
get_img_url("foo2", 30),
get_img_url("foo3", 0),
get_img_url("foo4", 1)
] # 5 задач на выполнение. "foo2" будет выполняться 30 сек.
results = []
while tasks: # Если есть задачи, то выполняем заново
# done это то что выполнено,
# tasks то что отвалилось по таймауту (5 секунд).
done, tasks = yield from asyncio.wait(tasks, timeout=5)
if tasks:
print("ERROR")
print(tasks)
print('\n')
for task in done: # результат того что выполнилось добавляем в список
results.append(task.result())
return results # Когда все задачи исполнены, можно результат
# их выполнения и вернуть.
loop = asyncio.get_event_loop()
results = loop.run_until_complete(run_tasks()) # Ждем пока не закончится
# выполнение функции run_tasks()
loop.close()
print(results)