0

https://jut.su/anime/ нужно запарсить каждую страницу после ввода названия аниме, не имею соображения как это сделать, как передать в строку ввода название ?

2 ответа 2

1

На странице сайта есть 2 элемента поиска:

  • Большой, с кнопкой Найти, оно вызывает POST запрос на /search/, который возвращает ответ с редиректом на конкретную страницу аниме
  • Ниже, Быстрый поиск ..., который POST запрос на /anime/ и возвращает список аниме, работает как фильтр

Я сделал пример для второго.

Описание:

  • Используем requests для отправки запроса на сайт:
    • Создаем сессию через requests.session(), чтобы иметь общие заголовки запросов и помнить куки, что сайт может возвращать для последующей отправки
    • Добавляем заголовок User-Agent, чтобы притвориться браузером
    • Отправляем POST запрос с данными формы через метод post. Данные заполняются через словарь в data. Данные для отправки посмотрел через браузер, используя инструмент инспектор, на вкладке Сети. Добавляем заголовок X-Requested-With, чтобы притвориться AJAX
  • Используем bs4 для парсинга
    • Для поиска использую css-селекторы, для них нужно использовать методы select и select_one
    • Ссылки на аниме относительные, а чтобы сделать их абсолютными использую функцию urljoin
  • Для стандартизации сбора данных создаем класс и dataclasses для автоматического создания конструктора, описания класса и т.п.

Думаю, на сайте результаты поиска могут разделены на страницы и подгружаться по мере пролистывания, эту логику не реализовывал

Зависимости:

  • pip install requests
  • pip install bs4

Пример:

from dataclasses import dataclass
from urllib.parse import urljoin
from typing import List

from bs4 import BeautifulSoup
import requests


@dataclass
class Anime:
    url: str
    title: str


session = requests.session()
session.headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:97.0) Gecko/20100101 Firefox/97.0'


def search(text: str) -> List[Anime]:
    data = {
        'ajax_load': 'yes',
        'start_from_page': 1,
        'show_search': text,
        'anime_of_user': '',
    }
    headers = {
        'X-Requested-With': 'XMLHttpRequest',  # AJAX
    }
    rs = session.post('https://jut.su/anime/', headers=headers, data=data)
    rs.raise_for_status()

    items = []
    root = BeautifulSoup(rs.text, 'html.parser')
    for anime_el in root.select('.all_anime_global'):
        url = urljoin(rs.url, anime_el.a['href'])
        title = anime_el.select_one('.aaname').text

        items.append(Anime(url, title))

    return items

Проверяем:

for anime in search(text='гора'):
    print(anime)

Результат:

Anime(url='https://jut.su/shiki/', title='Усопшие')
Anime(url='https://jut.su/slime-taoshite-300-nen/', title='Убивала слизней 300 лет до максимального уровня')
Anime(url='https://jut.su/reikenzan/', title='Гора Священного меча')
Anime(url='https://jut.su/shakunetsu-kabaddi/', title='Пылающий Кабадди')
0

попробуйте, вместо того чтобы искать аниме в поисковой строке, спарсить ссылки и названия на аниме со всех страниц и сохранить их куда-нибудь, а уже после доставать ссылки и парсить нужные данные.

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36'}
page = 0
anime_list = dict()

while True:
    page += 1
    url = f'https://jut.su/anime/page-{page}'

    req = requests.post(url, headers=headers)
    soup = BeautifulSoup(req.text, 'lxml')
    all_anime_info = soup.find_all(class_='all_anime_global')

    if not all_anime_info:
        break

    print(page, '/ 28')

    for anime_info in all_anime_info:
        anime_name = anime_info.find(class_='aaname').text
        anime_link = 'https://jut.su' + anime_info.find('a').get('href')
        anime_list[anime_name] = anime_link

print(anime_list)

Но если вам хочется именно через поисковою строку, то лучше использовать Селениум.

12
  • Можно немного упростить код, если использовать css-селекторы: all_anime_info = soup.select('.all_anime_content .all_anime_global'). Для получения из относительных ссылок абсолютных как тут anime_link = 'https://jut.su/anime/' + anime_info.find('a').get('href') лучше использовать urljoin из from urllib.parse import urljoin :)
    – gil9red
    4 мар 2022 в 9:06
  • Насчет поиска по названию, тут необязательно селениум, нужно в инспекторе браузера посмотреть какой запрос отправляет сайт и повторить его :) Скорее всего, там будет ajax-запрос
    – gil9red
    4 мар 2022 в 9:07
  • Кст, пробовали работать через сессии в requests? Они удобны тем, что запоминают куки, что приходят от сайтов и отправляют их в запросах, плюс если сессии указывать заголовки, то они будут включены автоматически, пример: github.com/gil9red/SimplePyScripts/blob/…
    – gil9red
    4 мар 2022 в 9:10
  • а можно поподробнее как селекторы упрощают код. Просто между строками all_anime_info = soup.select('.all_anime_content .all_anime_global') и all_anime_info = soup.find_all(class_='all_anime_global') не кажется будто есть сильная разница. А с библиотекой urllib я не сталкивался, поэтому сказать ничего не могу.
    – Freekby
    4 мар 2022 в 10:13
  • 1
    Спасибо большое! после вашего примера всё встало на свои места. ошибку в формировании запроса нашёл и исправил. Очень вам благодарен за уделённое время!
    – Freekby
    4 мар 2022 в 14:01

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.