В self.timeout_*
перечислены варианты остановки по таймауту, и дельнейшего продолжения работы
import multiprocessing, requests, queue
class Requests:
def __init__(self, url, timeout_retry, timeout_connect, timeout_read, timeout_break, ):
self.url = url
self.process = None
self.process_out = multiprocessing.Queue()
self.exit_event = multiprocessing.Event()
self.stop = self.exit_event.set
self.timeout_retry = timeout_retry # сколько секунд будет ждать клиент, перед повторным запросом url серверу
self.timeout_connect = timeout_connect # сколько секунд будет ждать клиент, чтобы установить первоначальное соединение с сервером
self.timeout_read = timeout_read # сколько секунд будет ждать клиент, между пакетами, отправленными сервером
self.timeout_break = timeout_break # сколько секунд будет ждать клиент, скачивания всех пакетов ответа сервера
def start_circle(self):
self._new_process()
while not self.exit_event.is_set():
try:
yield self.process_out.get(timeout=self.timeout_break)
except queue.Empty:
if self.process.is_alive():
self.process.terminate()
self._new_process()
def _run(self):
while not self.exit_event.is_set():
try:
req = requests.get(self.url, timeout=(self.timeout_connect, self.timeout_read))
except (requests.ConnectionError, requests.Timeout):
continue
else:
self.process_out.put(req.content)
self.exit_event.wait(timeout=self.timeout_retry)
def _new_process(self):
self.process = multiprocessing.Process(target=self._run, daemon=True)
self.process.start()
if __name__ == '__main__':
r = Requests('http://ya.ru/', timeout_retry=5, timeout_connect=3, timeout_read=4, timeout_break=7)
g = r.start_circle()
for (count, content) in enumerate(g, start=1):
print(count, content)
if count == 2:
r.stop()
1 b'<html class="...
2 b'<html class="...
requests.get('mysite.com', timeout=30)
Скорее всего, скрипт останавливается из-за случайно подвиснувшего интернета, и если я прав, то с таймаутом вместо зависания вылетит ошибка по истечении этого самого таймаута (30 секунд в данном примере), а эту ошибку уже можно будет потом отловить через try-except