2

Всем привет!

Есть следующая задача. Есть функция get_image_url(). Она посылает запрос и возвращает ссылку на картинку на сервере. Но сервер очень глюкавый, т.е. запрос может пойти, но вот ответа иногда можно ждать бесконечность. В результате, если такое происходит, то скрипт висит и ждет ответа от сервера. Как реализовать, например, такое:

# Засечь время 
# Сделать запрос:
url = get_image_url()
# если нету ответа 10 секунд, то повторить запрос (можно сделать циклом)

К сожалению, ни в API сервера, ни в самой функции ничего поменять не могу...

5 ответов 5

3

Наверное вам поможет многопоточность. Вот пример:

import multiprocessing
import time
# bar
def bar():
    for i in range(100):
        print "Тик-так"
        time.sleep(1)

if __name__ == '__main__':
    # Запустить bar как процесс
    p = multiprocessing.Process(target=bar)
    p.start()

    # Ждать 10 секунд или пока процесс завершится сам
    p.join(10)

    # Если всё ещё жив - прибить
    if p.is_alive():
        print "Жив!.. ПРИБИТЬ!!"
        p.terminate()
        p.join()
4
  • а как в таком случае получить значение, которое может возвращать bar()?
    – Hunting
    20 мая 2015 в 21:42
  • Для такой задачи лучше использовать Thread вместо Process, тогда вернуть значение будет проще. С Process придется использовать либо очередь, либо Pipe, либо Manager, а это лишнее усложнение.
    – Avernial
    21 мая 2015 в 1:18
  • Можно пример со Thread и получением значения?
    – Hunting
    22 мая 2015 в 12:10
  • @Hunting: Thread здесь нельзя использовать, потому что в отличии от Process их не следует убивать без кооперации с их стороны (по этой причине не существует соответствующего публичного API в Питоне (аналога process.terminate() для threads). В Вашем случае кооперация не предусмотрена (get_image_url() нельзя изменять или предполагать какие именно вызовы она делает, иначе можно было бы просто socket.setdefaulttimeout() или аналог использовать).
    – jfs
    23 мая 2015 в 10:39
0

Определите переменную url, как None. Вызовите функцию в отдельном потоке, которая каждые десять секунд проверяет, изменилась ли переменная url или нет.

0
import threading, queue

def get_url_thread(q):
    q.put(get_image_url())

q = queue.Queue()
threading.Thread(target=get_url_thread, args=(q,)).start()
result = q.get()
1
  • get_image_url() продолжает исполняться, даже если в q.get() timeout параметр использовать (без timeout q.get() вообще не вернётся пока get_image_url() не завершится).
    – jfs
    23 мая 2015 в 10:45
0

Асинхронщина вас спасет, или используйте очереди (например https://github.com/nvie/rq/, celery)

import random

import aiohttp
import asyncio


@asyncio.coroutine
def get_img_url(name="foo0", timer=0):
    """
    Это асинхронная функция, для получения результатов запроса по URI
    """
    img_url = yield from aiohttp.request(
        'GET', "http://example.com/api/get/img/url")
    if random.choice([True, True, True, False]): # задержка включается 
        # по рандому, поэтому рано или поздно наш скрипт завершится :)
        yield from asyncio.sleep(timer)
    print(name)
    return img_url


def run_tasks():
    tasks = [
        get_img_url(),
        get_img_url("foo1", 3),
        get_img_url("foo2", 30),
        get_img_url("foo3", 0),
        get_img_url("foo4", 1)
    ] # 5 задач на выполнение. "foo2" будет выполняться 30 сек.
    results = []
    while tasks: # Если есть задачи, то выполняем заново
        # done это то что выполнено,
        # tasks то что отвалилось по таймауту (5 секунд).
        done, tasks = yield from asyncio.wait(tasks, timeout=5)
        if tasks:
            print("ERROR")
        print(tasks)
        print('\n')

        for task in done: # результат того что выполнилось добавляем в список
            results.append(task.result())

    return results # Когда все задачи исполнены, можно результат 
                   # их выполнения и вернуть.

loop = asyncio.get_event_loop()
results = loop.run_until_complete(run_tasks()) # Ждем пока не закончится
                                               # выполнение функции run_tasks()
loop.close()

print(results)
3
  • Если использовать github.com/nvie/rq, то придется запускать redis, а делать это только лишь из-за одной такой мелочи не хочеться...
    – Hunting
    22 мая 2015 в 13:20
  • @Hunting ну asyncio тогда
    – uralbash
    22 мая 2015 в 13:38
  • asyncio предполагает высокий уровень кооперации со стороны get_image_url(), что противоречит: "в самой функции ничего поменять не могу..." из вопроса.
    – jfs
    23 мая 2015 в 10:47
0

import time 

def get_image_url():
    pass

def result(func):
    url = func()
    if url == None:
        while True:
            result(func)
            time.sleep(10)
    return url 


def main():
    result(get_image_url)


if __name__ == '__main__':
    main()
5
  • result(get_image_url()) - сначала будет вызвана функция get_image_url(), ее результат будет передан в функцию result, и там этот результат вы пытаетесь вызвать как функцию
    – insolor
    12 мая в 19:20
  • сначала будет вызвана функция get_image_url ее результат присвоен переменной. но я не вижу чтобы вызывалась эта переменная как функция
    – Noskill
    12 мая в 19:31
  • Вы запустите свой код и посмотрите что произойдет. Упадет с ошибкой NoneType is not callable
    – insolor
    12 мая в 19:35
  • а нет, увидел! спасибо! сейчас поправлю
    – Noskill
    12 мая в 19:35
  • добро пожаловать на stack overflow на русском! пожалуйста, постарайтесь оставлять чуть более развёрнутые ответы. дополнить ответ можно, нажав править 12 мая в 19:49

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.