Всем привет. Пытаюсь разобраться в асинхронном парсинге с помощью модуля asyncio. Как пример для себя взял этот код ,есть видео обзор на него
Вот мой код:
PATH = './data2/'
def write_to_txt_file(text, name): #3. запись текста в файл
f = open(f'{PATH}{name}.txt', 'w')
f.write(text)
f.close()
def download_img(image_url , name):#4. загрузка картинки
file_ext = image_url.split('.')[-1];
full_path = f'{PATH}{name}.{file_ext}'
try:
urllib.request.urlretrieve(image_url, full_path)
except(urllib.error.HTTPError):
print('Ошибка при загрузке картинки')
async def getData(item , session):#2. получаем сами страницы и запускаем
async with session.get(url=item["Link"], headers=headers) as response:
print('Current item: ', item["ID"])
soup = BeautifulSoup(await response.text(), 'html.parser')
name = str(item["ID"]) + '. ' + item["Title"][:100]
name = ('|').join(name.split('/'))#заменяем символы, чтобы не ломался путь при записи файла
text = soup.find(id="begin").get_text()
image = soup.find("img", {"class": "figure_img"})
write_to_txt_file(text , name)
if image:
image_url = image.get('src')
download_img( image_url , name)
async def parseFromJson():# 1. Берем данные с json и пробегаемся по ним
with open('./data2/csvjson.json') as data_file:
data = json.load(data_file)
async with aiohttp.ClientSession() as session: #создаем контекст, позволяющий работь через одну сессию
tasks = [] #создаем массив для хранения заданий
for item in data:
if item["ID"] < 10:#ограничение для дебага
task = await asyncio.create_task(getData(item , session)) #создаем корутин
tasks.append(task) #добавляем корутин в стек
await asyncio.gather(*tasks)
def main():
asyncio.run(parseFromJson())
if __name__ == "__main__":
main()
Код сохраняет текст и изображения, и как мне кажется все происходит синхронно, плюс когда полностью отработал выкидывает ошибку:
Traceback (most recent call last):
File "/home/download_from_json_async.py", line 85, in <module>
main()
File "/home/download_from_json_async.py", line 82, in main
asyncio.run(parseFromJson())
File "/usr/lib/python3.9/asyncio/runners.py", line 44, in run
return loop.run_until_complete(main)
File "/usr/lib/python3.9/asyncio/base_events.py", line 642, in run_until_complete
return future.result()
File "/home/download_from_json_async.py", line 78, in parseFromJson
await asyncio.gather(*tasks)
File "/usr/lib/python3.9/asyncio/tasks.py", line 825, in gather
fut = ensure_future(arg, loop=loop)
File "/usr/lib/python3.9/asyncio/tasks.py", line 679, in ensure_future
raise TypeError('An asyncio.Future, a coroutine or an awaitable is '
TypeError: An asyncio.Future, a coroutine or an awaitable is required
Есть несколько вопросов:
- Что я пропустил или что надо поправить, чтоб запросы шли асинхронно
- Как дописать код, чтобы загрузка картинок была тоже асинхронной. Не понятно, можно ли докидывать как то в этот массив на ходу функции запросов или создавать отдельный. Или вообще только изначально можно его создать и ждать пока он выполнится?
Буду рад любым подсказкам и ответам.