В своих пауках обычно использую такую конструкцию:
async def crawl(future, client, pool):
futures = []
# Получаем из футуры ссылки
urls = await future
# Выгребаем для каждой ссылки разметку страницы
for request_future in asyncio.as_completed([request(client, url) for url in urls]):
# Передаём парсинг разметки в пул потоков
parse_future = loop.run_in_executor(pool, parse, (await request_future))
# Рекурсивно вызываем себя для парсинга новой порции ссылок
futures.append(asyncio.ensure_future(crawl(parse_future, client, pool)))
# Это нужно только для того, чтобы знать
# когда завершать цикл событий
if futures:
await asyncio.wait(futures)
Все хорошо бы, но когда имеется большое количество ссылок, то после выполнения запроса к серверу (request), результат сохраняется, и потом будет обрабатываться пулом потоком.
Вот именно когда складируется, потребляется большое количество оперативной памяти (вот сейчас почти 8 Гб).
Можно ли как нибудь изменить данную конструкцию, чтобы после запроса, результат сразу обрабатывался, ну либо сохранялся до определенного количества (например 50), а потом пулом потоков быстро обрабатывался.