у меня есть асинхронная функция - парсит сайт. Пытаюсь получить последнюю страницу, которая равна 398 или же 3980 в ссылке (https://facts.museum/from3980), но ни как это не выходит.
код парсера:
import json
import time
import uuid
from datetime import datetime
import aiohttp
import asyncio
from bs4 import BeautifulSoup
from fake_useragent import UserAgent
data = {'main': {}, 'times': {}}
times_date = {}
main_data = {}
async def get_data(session, page):
url_main = 'https://facts.museum'
headers = {'user-agent': UserAgent().random}
url = f'{url_main}/from{page}'
async with session.get(url=url, headers=headers) as r:
response_text = await r.text()
soup = BeautifulSoup(response_text, 'lxml')
blocks = soup.find_all('div', class_='col-lg mb-3 p-0')
try:
for element in blocks:
content = element.find('p', class_='content').text
title = element.find('img').get('alt')
link_img = element.find('img').get('src')
main_data[str(uuid.uuid4())]=[
content,
title,
f'{url_main}{link_img}'
]
except:
return
async def gather_data():
async with aiohttp.ClientSession() as session:
tasks = []
for page in range(0, 4000, 10):
task = asyncio.create_task(get_data(session, page))
tasks.append(task)
await asyncio.gather(*tasks)
def main():
while True:
asyncio.set_event_loop_policy(asyncio.WindowsSelectorEventLoopPolicy())
asyncio.run(gather_data())
date = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
times_date['date']=date
data['times']=times_date
data['main']=main_data
with open('data.json', 'w', encoding='utf-8') as file:
json.dump(data, file, indent=4, ensure_ascii=False)
time_ = 12 * 3600
time.sleep(time_)
if __name__ == '__main__':
main()