https://jut.su/anime/ нужно запарсить каждую страницу после ввода названия аниме, не имею соображения как это сделать, как передать в строку ввода название ?
2 ответа
На странице сайта есть 2 элемента поиска:
- Большой, с кнопкой Найти, оно вызывает
POST
запрос на/search/
, который возвращает ответ с редиректом на конкретную страницу аниме - Ниже,
Быстрый поиск ...
, которыйPOST
запрос на/anime/
и возвращает список аниме, работает как фильтр
Я сделал пример для второго.
Описание:
- Используем requests для отправки запроса на сайт:
- Создаем сессию через
requests.session()
, чтобы иметь общие заголовки запросов и помнить куки, что сайт может возвращать для последующей отправки - Добавляем заголовок
User-Agent
, чтобы притвориться браузером - Отправляем POST запрос с данными формы через метод
post
. Данные заполняются через словарь вdata
. Данные для отправки посмотрел через браузер, используя инструмент инспектор, на вкладке Сети. Добавляем заголовокX-Requested-With
, чтобы притворитьсяAJAX
- Создаем сессию через
- Используем bs4 для парсинга
- Для поиска использую css-селекторы, для них нужно использовать методы
select
иselect_one
- Ссылки на аниме относительные, а чтобы сделать их абсолютными использую функцию urljoin
- Для поиска использую css-селекторы, для них нужно использовать методы
- Для стандартизации сбора данных создаем класс и dataclasses для автоматического создания конструктора, описания класса и т.п.
Думаю, на сайте результаты поиска могут разделены на страницы и подгружаться по мере пролистывания, эту логику не реализовывал
Зависимости:
pip install requests
pip install bs4
from dataclasses import dataclass
from urllib.parse import urljoin
from typing import List
from bs4 import BeautifulSoup
import requests
@dataclass
class Anime:
url: str
title: str
session = requests.session()
session.headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:97.0) Gecko/20100101 Firefox/97.0'
def search(text: str) -> List[Anime]:
data = {
'ajax_load': 'yes',
'start_from_page': 1,
'show_search': text,
'anime_of_user': '',
}
headers = {
'X-Requested-With': 'XMLHttpRequest', # AJAX
}
rs = session.post('https://jut.su/anime/', headers=headers, data=data)
rs.raise_for_status()
items = []
root = BeautifulSoup(rs.text, 'html.parser')
for anime_el in root.select('.all_anime_global'):
url = urljoin(rs.url, anime_el.a['href'])
title = anime_el.select_one('.aaname').text
items.append(Anime(url, title))
return items
Проверяем:
for anime in search(text='гора'):
print(anime)
Результат:
Anime(url='https://jut.su/shiki/', title='Усопшие')
Anime(url='https://jut.su/slime-taoshite-300-nen/', title='Убивала слизней 300 лет до максимального уровня')
Anime(url='https://jut.su/reikenzan/', title='Гора Священного меча')
Anime(url='https://jut.su/shakunetsu-kabaddi/', title='Пылающий Кабадди')
попробуйте, вместо того чтобы искать аниме в поисковой строке, спарсить ссылки и названия на аниме со всех страниц и сохранить их куда-нибудь, а уже после доставать ссылки и парсить нужные данные.
import requests
from bs4 import BeautifulSoup
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36'}
page = 0
anime_list = dict()
while True:
page += 1
url = f'https://jut.su/anime/page-{page}'
req = requests.post(url, headers=headers)
soup = BeautifulSoup(req.text, 'lxml')
all_anime_info = soup.find_all(class_='all_anime_global')
if not all_anime_info:
break
print(page, '/ 28')
for anime_info in all_anime_info:
anime_name = anime_info.find(class_='aaname').text
anime_link = 'https://jut.su' + anime_info.find('a').get('href')
anime_list[anime_name] = anime_link
print(anime_list)
Но если вам хочется именно через поисковою строку, то лучше использовать Селениум.
-
Можно немного упростить код, если использовать css-селекторы:
all_anime_info = soup.select('.all_anime_content .all_anime_global')
. Для получения из относительных ссылок абсолютных как тутanime_link = 'https://jut.su/anime/' + anime_info.find('a').get('href')
лучше использоватьurljoin
изfrom urllib.parse import urljoin
:)– gil9redCommented 4 мар. 2022 в 9:06 -
Насчет поиска по названию, тут необязательно селениум, нужно в инспекторе браузера посмотреть какой запрос отправляет сайт и повторить его :) Скорее всего, там будет ajax-запрос– gil9redCommented 4 мар. 2022 в 9:07
-
Кст, пробовали работать через сессии в
requests
? Они удобны тем, что запоминают куки, что приходят от сайтов и отправляют их в запросах, плюс если сессии указывать заголовки, то они будут включены автоматически, пример: github.com/gil9red/SimplePyScripts/blob/…– gil9redCommented 4 мар. 2022 в 9:10 -
а можно поподробнее как селекторы упрощают код. Просто между строками
all_anime_info = soup.select('.all_anime_content .all_anime_global')
иall_anime_info = soup.find_all(class_='all_anime_global')
не кажется будто есть сильная разница. А с библиотекой urllib я не сталкивался, поэтому сказать ничего не могу.– FreekbyCommented 4 мар. 2022 в 10:13 -
1Спасибо большое! после вашего примера всё встало на свои места. ошибку в формировании запроса нашёл и исправил. Очень вам благодарен за уделённое время!– FreekbyCommented 4 мар. 2022 в 14:01