0

Всем привет. Пытаюсь разобраться в асинхронном парсинге с помощью модуля asyncio. Как пример для себя взял этот код ,есть видео обзор на него

Вот мой код:

PATH = './data2/'


def write_to_txt_file(text, name): #3. запись текста в файл
    f = open(f'{PATH}{name}.txt', 'w')
    f.write(text)
    f.close()

def download_img(image_url , name):#4. загрузка картинки

    file_ext = image_url.split('.')[-1];
    full_path = f'{PATH}{name}.{file_ext}'
    try:
        urllib.request.urlretrieve(image_url, full_path)
    except(urllib.error.HTTPError):
        print('Ошибка при загрузке картинки')



async def getData(item , session):#2. получаем сами страницы и запускаем

    async with session.get(url=item["Link"], headers=headers) as response:
        print('Current item: ', item["ID"])
        soup = BeautifulSoup(await response.text(), 'html.parser')

        name = str(item["ID"]) + '. ' + item["Title"][:100]
        name = ('|').join(name.split('/'))#заменяем символы, чтобы не ломался путь при записи файла

        text = soup.find(id="begin").get_text()
        image = soup.find("img", {"class": "figure_img"})

        write_to_txt_file(text , name)

        if image:

            image_url = image.get('src')
            download_img( image_url , name)




async def parseFromJson():# 1. Берем данные с json и пробегаемся по ним
     with open('./data2/csvjson.json') as data_file:
        data = json.load(data_file)
        async with aiohttp.ClientSession() as session: #создаем контекст, позволяющий работь через одну сессию
            tasks = [] #создаем массив для хранения заданий
            for item in data:
                if item["ID"] < 10:#ограничение для дебага

                    task = await asyncio.create_task(getData(item , session)) #создаем корутин
                    tasks.append(task) #добавляем корутин в стек
            await asyncio.gather(*tasks)


def main():
    asyncio.run(parseFromJson())

if __name__ == "__main__":
    main()

Код сохраняет текст и изображения, и как мне кажется все происходит синхронно, плюс когда полностью отработал выкидывает ошибку:

Traceback (most recent call last):
  File "/home/download_from_json_async.py", line 85, in <module>
    main()
  File "/home/download_from_json_async.py", line 82, in main
    asyncio.run(parseFromJson())
  File "/usr/lib/python3.9/asyncio/runners.py", line 44, in run
    return loop.run_until_complete(main)
  File "/usr/lib/python3.9/asyncio/base_events.py", line 642, in run_until_complete
    return future.result()
  File "/home/download_from_json_async.py", line 78, in parseFromJson
    await asyncio.gather(*tasks)
  File "/usr/lib/python3.9/asyncio/tasks.py", line 825, in gather
    fut = ensure_future(arg, loop=loop)
  File "/usr/lib/python3.9/asyncio/tasks.py", line 679, in ensure_future
    raise TypeError('An asyncio.Future, a coroutine or an awaitable is '
TypeError: An asyncio.Future, a coroutine or an awaitable is required

Есть несколько вопросов:

  1. Что я пропустил или что надо поправить, чтоб запросы шли асинхронно
  2. Как дописать код, чтобы загрузка картинок была тоже асинхронной. Не понятно, можно ли докидывать как то в этот массив на ходу функции запросов или создавать отдельный. Или вообще только изначально можно его создать и ждать пока он выполнится?

Буду рад любым подсказкам и ответам.

1 ответ 1

0

Нашел одну ошибку, при создания таска не нужен await

task = asyncio.create_task(getData(item , session)) 

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.