Решил освоиться в gevent во время написания парсера, и все с ним хорошо, кроме одной проблемы: исходя из документации, нам заранее нужно знать, сколько страниц мы будем парсить:
for i in range(1, 15):
handlers_group.add(gevent.spawn(handler, i))
handlers_group.join()
При этом обработчик может выглядеть так:
def handler(page_num):
r = requests.get('sait.com?page={}'.format(page_num))
if r.text != 'page not found':
# последующие действия с данными
Как быть в случае, если мы не можем заранее знать количество страниц, по которым на нам нужно пройтись? Остановиться следует только тогда, когда ответ равен 'page not found'. Знаем только, что страниц обычно бывает от 15-ти до 50-ти и в редких случаях превышает сотню (крайнего предела не знаем, может встретится и миллион, но обрабатывать больше двух-трех сотен не имеет смысла).
Самое банальное, что приходит в голову, - создать запросы к 300-м страницам:
for i in range(1, 300):
handlers_group.add(gevent.spawn(handler, i))
handlers_group.join()
и убить группу handlers_group
из функции handler, когда ответ от сервера будет равным 'page not found'. Но в этом случае из-за асинхронности ответ от страницы №300 (которой, допустим, нет) может прийти раньше, чем от №250 (которая, допустим, существует), и мы убьем обработку страниц слишком рано, лишившись части информации.
Очень надеюсь на помощь сообщества в любом направлении.