0

Всем привет. Пытаюсь разобраться в асинхронном парсинге с помощью модуля asyncio. Как пример для себя взял этот код ,есть видео обзор на него

Вот мой код:

PATH = './data2/'


def write_to_txt_file(text, name): #3. запись текста в файл
    f = open(f'{PATH}{name}.txt', 'w')
    f.write(text)
    f.close()

def download_img(image_url , name):#4. загрузка картинки

    file_ext = image_url.split('.')[-1];
    full_path = f'{PATH}{name}.{file_ext}'
    try:
        urllib.request.urlretrieve(image_url, full_path)
    except(urllib.error.HTTPError):
        print('Ошибка при загрузке картинки')



async def getData(item , session):#2. получаем сами страницы и запускаем

    async with session.get(url=item["Link"], headers=headers) as response:
        print('Current item: ', item["ID"])
        soup = BeautifulSoup(await response.text(), 'html.parser')

        name = str(item["ID"]) + '. ' + item["Title"][:100]
        name = ('|').join(name.split('/'))#заменяем символы, чтобы не ломался путь при записи файла

        text = soup.find(id="begin").get_text()
        image = soup.find("img", {"class": "figure_img"})

        write_to_txt_file(text , name)

        if image:

            image_url = image.get('src')
            download_img( image_url , name)




async def parseFromJson():# 1. Берем данные с json и пробегаемся по ним
     with open('./data2/csvjson.json') as data_file:
        data = json.load(data_file)
        async with aiohttp.ClientSession() as session: #создаем контекст, позволяющий работь через одну сессию
            tasks = [] #создаем массив для хранения заданий
            for item in data:
                if item["ID"] < 10:#ограничение для дебага

                    task = await asyncio.create_task(getData(item , session)) #создаем корутин
                    tasks.append(task) #добавляем корутин в стек
            await asyncio.gather(*tasks)


def main():
    asyncio.run(parseFromJson())

if __name__ == "__main__":
    main()

Код сохраняет текст и изображения, и как мне кажется все происходит синхронно, плюс когда полностью отработал выкидывает ошибку:

Traceback (most recent call last):
  File "/home/download_from_json_async.py", line 85, in <module>
    main()
  File "/home/download_from_json_async.py", line 82, in main
    asyncio.run(parseFromJson())
  File "/usr/lib/python3.9/asyncio/runners.py", line 44, in run
    return loop.run_until_complete(main)
  File "/usr/lib/python3.9/asyncio/base_events.py", line 642, in run_until_complete
    return future.result()
  File "/home/download_from_json_async.py", line 78, in parseFromJson
    await asyncio.gather(*tasks)
  File "/usr/lib/python3.9/asyncio/tasks.py", line 825, in gather
    fut = ensure_future(arg, loop=loop)
  File "/usr/lib/python3.9/asyncio/tasks.py", line 679, in ensure_future
    raise TypeError('An asyncio.Future, a coroutine or an awaitable is '
TypeError: An asyncio.Future, a coroutine or an awaitable is required

Есть несколько вопросов:

  1. Что я пропустил или что надо поправить, чтоб запросы шли асинхронно
  2. Как дописать код, чтобы загрузка картинок была тоже асинхронной. Не понятно, можно ли докидывать как то в этот массив на ходу функции запросов или создавать отдельный. Или вообще только изначально можно его создать и ждать пока он выполнится?

Буду рад любым подсказкам и ответам.

1 ответ 1

0

Нашел одну ошибку, при создания таска не нужен await

task = asyncio.create_task(getData(item , session)) 

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.