0

Здравствуйте пишу парсер с помощью asyncio + aiohttp и необходимо скачивать изображения

На данный момент скачиваю изображение во время парсинга:

def download_image(url):
    start = time.time()
    text = re.search("[0-9]+.jpg$", url)
    if (text != None):
        h = httplib2.Http('cache')
        response, content = h.request(url)
        out = open('images/' + text.group(0), 'wb')
        out.write(content)
        out.close()
        print("Время скачивания:", time.time() -start)

Я хочу просто передавать url на изображение в поток событий, чтобы не задерживать его при попытке скачать во время парсинга. (при парсинге, если мы находим необходимую ссылку то ее возвращаем, чтобы создать новую задачу в потоке событий)

async def crawl(future, client, pool):
    futures = []
    # Получаем из футуры ссылки
    urls = await future
    # Выгребаем для каждой ссылки разметку страницы
    for request_future in asyncio.as_completed([request(client, url) for url in urls]):
        # Передаём парсинг разметки в пул потоков
        parse_future = loop.run_in_executor(pool, parse, (await request_future))
        # parse_future = loop.run_in_executor(pool, parse, (await request_future))
        # Рекурсивно вызываем себя для парсинга новой порции ссылок
        futures.append(asyncio.ensure_future(crawl(parse_future, client, pool)))
    # Это нужно только для того, чтобы знать
    # когда завершать цикл событий
    if futures:
        await asyncio.wait(futures)

async def start_main(root_urls):
    loop = asyncio.get_event_loop()


    # loop.set_debug(True)
    # Создаём пул потоков по количеству процессоров
    # with ThreadPoolExecutor(max_workers=os.cpu_count()) as pool:
    with ThreadPoolExecutor(count_thread) as pool:
        conn = aiohttp.TCPConnector(ssl=False)
        # Создаём клиентскую сессию
        async with aiohttp.ClientSession(connector=conn) as client:
            # Создаём корневую футуру
            initial_future = loop.create_future()
            # Помещаем в неё ссылки, с которых начнём парсить
            initial_future.set_result(root_urls)
            # Передаём эту футуру в сопрограмму обхода ссылок
            # вместе с пулом потоков и клиентской сессией
            await crawl(initial_future, client, pool)

Для отправки запросов использую метод:

async def request(client, url):
    global limit, headers,  len_count_product, count_request_product, proxy_auth
    async with limit:
        for i in range(30):
            try:
                async with client.get(url, headers=headers, proxy=get_proxy(), proxy_auth=proxy_auth) as r:
                    log.info('Запрос: %s', url)
                    log.info("Статус: %s", r.status)
                    if(r.status == 404):
                        break
                    if(r.status == 200):
                        count_request_product = count_request_product + 1
                        log.info("Количество запросов: %s", str(count_request_product))
                        return await r.content.read()
                    else:
                        log.info("Ошибка статус: %s", r.status)
                        log.info("Задержка: %s", i)
                        await asyncio.sleep(1)
            except Exception as e:
                print(e)
                log.info("Задержка: %s", i)
                await asyncio.sleep(1)

Как его можно модифицировать, чтобы скачивать изображения? И стоит ли вообще? (будет ли уменьшение скорости парсинга?)

1 ответ 1

1

Будет увеличение скорости парсинга и уменьшение его времени

from os import path
from urllib.parse import urlparse


def save_file(name, content):
    with open(path.join('images', name), 'wb') as fh:
        fh.write(content)


async def download_image(url, pool, loop):
    file_name = path.basename(urlparse(url).path)
    async with client.get(url) as r:
        content = await r.read()
        loop.run_in_executor(pool, save_file, file_name, content)

P.S. Очень плохая идея использовать глобальные переменные в конкурентном коде!

6
  • У меня url определяется в методе parse, который уже работает через exexutor (метод crawl) мне его прям в parse вызывать через await downloal_image? И почему нельзя глобальные переменные использовать?
    – danilshik
    16 дек 2018 в 11:02
  • Можно прямо в parse, только стоит проверить все нюансы потокобезопасности. 16 дек 2018 в 11:49
  • я думал вы отписались, что теряется производительность системы, а так я и сам знаю, что их лучше не использовать
    – danilshik
    16 дек 2018 в 12:55
  • что-то я не придумал как ваш способ внедрить в мой. У меня в методе parse, входные параметры parse_text, т. е await r.content.read(). Допустим я loop еще как-то могу получить, но вот pool, также как и в методе start_main with ThreadPoolExecutor(count_thread) as pool:
    – danilshik
    16 дек 2018 в 15:14

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.