0

у меня есть асинхронная функция - парсит сайт. Пытаюсь получить последнюю страницу, которая равна 398 или же 3980 в ссылке (https://facts.museum/from3980), но ни как это не выходит.

код парсера:

import json
import time
import uuid
from datetime import datetime

import aiohttp
import asyncio
from bs4 import BeautifulSoup
from fake_useragent import UserAgent


data = {'main': {}, 'times': {}}
times_date = {}
main_data = {}


async def get_data(session, page):
    url_main = 'https://facts.museum'
    headers = {'user-agent': UserAgent().random}

    url = f'{url_main}/from{page}'
    async with session.get(url=url, headers=headers) as r:
        response_text = await r.text()
        soup = BeautifulSoup(response_text, 'lxml')
        blocks = soup.find_all('div', class_='col-lg mb-3 p-0')

        try:
            for element in blocks:
                content = element.find('p', class_='content').text
                title = element.find('img').get('alt')
                link_img = element.find('img').get('src')
                main_data[str(uuid.uuid4())]=[
                    content,
                    title,
                    f'{url_main}{link_img}'
                ]
        except:
            return


async def gather_data():
    async with aiohttp.ClientSession() as session:
        tasks = []

        for page in range(0, 4000, 10):
            task = asyncio.create_task(get_data(session, page))
            tasks.append(task)

        await asyncio.gather(*tasks)


def main():
    while True:
        asyncio.set_event_loop_policy(asyncio.WindowsSelectorEventLoopPolicy())
        asyncio.run(gather_data())
        date = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
        times_date['date']=date
        data['times']=times_date
        data['main']=main_data

        with open('data.json', 'w', encoding='utf-8') as file:
            json.dump(data, file, indent=4, ensure_ascii=False)


        time_ = 12 * 3600
        time.sleep(time_)


if __name__ == '__main__':
    main()

1 ответ 1

0

У меня получилось взять пагинацию необычным путем, на главной странице сайта я нашел точное количество фактов на сайте, так как это число находится в строке, пришлось его обрезать с помощью методов beautifulSoup и python. Дальше я посчитал сколько всего фактов на одной странице (10) и поделил общее кол-во фактов на одну страницу, округлил его до целого числа, так как в ссылке страницы указаны в необычном стиле (страница 398 - ссылка '/from3980') пришлось округленное число до множить на 10 и я смог получить количество всех страниц на сайте с фактами.

вот готовый код:

import json
import time
import uuid
from datetime import datetime

import aiohttp
import asyncio
from bs4 import BeautifulSoup
from fake_useragent import UserAgent


url_main = 'https://facts.museum'
data = {'main': {}, 'times': {}}
times_date = {}
main_data = {}


async def get_data(session, page):
    headers = {'user-agent': UserAgent().random}
    url = f'{url_main}/from{page}'

    async with session.get(url=url, headers=headers) as r:
        response_text = await r.text()
        soup = BeautifulSoup(response_text, 'lxml')
        blocks = soup.find_all('div', class_='col-lg mb-3 p-0')

        try:
            for element in blocks:
                content = element.find('p', class_='content').text
                title = element.find('img').get('alt')
                link_img = element.find('img').get('src')
                main_data[str(uuid.uuid4())]=[
                    content,
                    title,
                    f'{url_main}{link_img}'
                ]
        except AttributeError:
            return


async def gather_data():
    async with aiohttp.ClientSession() as session:
        tasks = []
        r = await session.get(url=url_main)
        soup = BeautifulSoup(await r.text(), 'lxml')
        all_facts = int(soup.find('div', class_='col-lg-6 ps-3 py-3 about').find('p').text.split('Сейчас в\xa0коллекции ')[-1].replace(' факта.', ''))
        all_page = int(round(all_facts/10, 0)) * 10
        
        for page in range(0, all_page, 10):
            task = asyncio.create_task(get_data(session, page))
            tasks.append(task)

        await asyncio.gather(*tasks)


def main():
    asyncio.set_event_loop_policy(asyncio.WindowsSelectorEventLoopPolicy())

    while True:
        asyncio.run(gather_data())
        date = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
        times_date['date']=date
        data['times']=times_date
        data['main']=main_data

        with open('data.json', 'w', encoding='utf-8') as file:
            json.dump(data, file, indent=4, ensure_ascii=False)

        time.sleep(1800)


if __name__ == '__main__':
    main()

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.