0

Здравствуйте пишу парсер с помощью asyncio + aiohttp и необходимо скачивать изображения

На данный момент скачиваю изображение во время парсинга:

def download_image(url):
    start = time.time()
    text = re.search("[0-9]+.jpg$", url)
    if (text != None):
        h = httplib2.Http('cache')
        response, content = h.request(url)
        out = open('images/' + text.group(0), 'wb')
        out.write(content)
        out.close()
        print("Время скачивания:", time.time() -start)

Я хочу просто передавать url на изображение в поток событий, чтобы не задерживать его при попытке скачать во время парсинга. (при парсинге, если мы находим необходимую ссылку то ее возвращаем, чтобы создать новую задачу в потоке событий)

async def crawl(future, client, pool):
    futures = []
    # Получаем из футуры ссылки
    urls = await future
    # Выгребаем для каждой ссылки разметку страницы
    for request_future in asyncio.as_completed([request(client, url) for url in urls]):
        # Передаём парсинг разметки в пул потоков
        parse_future = loop.run_in_executor(pool, parse, (await request_future))
        # parse_future = loop.run_in_executor(pool, parse, (await request_future))
        # Рекурсивно вызываем себя для парсинга новой порции ссылок
        futures.append(asyncio.ensure_future(crawl(parse_future, client, pool)))
    # Это нужно только для того, чтобы знать
    # когда завершать цикл событий
    if futures:
        await asyncio.wait(futures)

async def start_main(root_urls):
    loop = asyncio.get_event_loop()


    # loop.set_debug(True)
    # Создаём пул потоков по количеству процессоров
    # with ThreadPoolExecutor(max_workers=os.cpu_count()) as pool:
    with ThreadPoolExecutor(count_thread) as pool:
        conn = aiohttp.TCPConnector(ssl=False)
        # Создаём клиентскую сессию
        async with aiohttp.ClientSession(connector=conn) as client:
            # Создаём корневую футуру
            initial_future = loop.create_future()
            # Помещаем в неё ссылки, с которых начнём парсить
            initial_future.set_result(root_urls)
            # Передаём эту футуру в сопрограмму обхода ссылок
            # вместе с пулом потоков и клиентской сессией
            await crawl(initial_future, client, pool)

Для отправки запросов использую метод:

async def request(client, url):
    global limit, headers,  len_count_product, count_request_product, proxy_auth
    async with limit:
        for i in range(30):
            try:
                async with client.get(url, headers=headers, proxy=get_proxy(), proxy_auth=proxy_auth) as r:
                    log.info('Запрос: %s', url)
                    log.info("Статус: %s", r.status)
                    if(r.status == 404):
                        break
                    if(r.status == 200):
                        count_request_product = count_request_product + 1
                        log.info("Количество запросов: %s", str(count_request_product))
                        return await r.content.read()
                    else:
                        log.info("Ошибка статус: %s", r.status)
                        log.info("Задержка: %s", i)
                        await asyncio.sleep(1)
            except Exception as e:
                print(e)
                log.info("Задержка: %s", i)
                await asyncio.sleep(1)

Как его можно модифицировать, чтобы скачивать изображения? И стоит ли вообще? (будет ли уменьшение скорости парсинга?)

1 ответ 1

1

Будет увеличение скорости парсинга и уменьшение его времени

from os import path
from urllib.parse import urlparse


def save_file(name, content):
    with open(path.join('images', name), 'wb') as fh:
        fh.write(content)


async def download_image(url, pool, loop):
    file_name = path.basename(urlparse(url).path)
    async with client.get(url) as r:
        content = await r.read()
        loop.run_in_executor(pool, save_file, file_name, content)

P.S. Очень плохая идея использовать глобальные переменные в конкурентном коде!

6
  • У меня url определяется в методе parse, который уже работает через exexutor (метод crawl) мне его прям в parse вызывать через await downloal_image? И почему нельзя глобальные переменные использовать?
    – danilshik
    16 дек 2018 в 11:02
  • Можно прямо в parse, только стоит проверить все нюансы потокобезопасности. 16 дек 2018 в 11:49
  • я думал вы отписались, что теряется производительность системы, а так я и сам знаю, что их лучше не использовать
    – danilshik
    16 дек 2018 в 12:55
  • что-то я не придумал как ваш способ внедрить в мой. У меня в методе parse, входные параметры parse_text, т. е await r.content.read(). Допустим я loop еще как-то могу получить, но вот pool, также как и в методе start_main with ThreadPoolExecutor(count_thread) as pool:
    – danilshik
    16 дек 2018 в 15:14

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.