Вобщем вот мой парсер python.Я собираю данные(название,картинка,год,описание) ссылка на сайт https://animego.org/anime .Как я понял сайт динамический, по-этому я покопался в сети и нашел полный url, дальше как я понял у сайта всего 96 страниц.Данные собрались.НО не полность собралось всего лишь 1 страница наверное.Помогите пожалуйста.
import requests
from bs4 import BeautifulSoup
import csv
def save(all):
with open('example2.csv', 'w') as myfile:
writer = csv.writer(myfile)
writer.writerows(all)
print("Идёт сбор данных...")
def parse():
for page in range(1,97):
url = f"https://animego.org/anime?sort=a.createdAt&direction=desc&type=animes&page={page}" #96
r = requests.get(url=url)
soup = BeautifulSoup(r.content,'html.parser')
divs = soup.findAll("div", {"class":"animes-list-item media"})
all = []
print(f"Собранно страниц {page} / 97")
for div in divs:
link = div.find("a",{"class":"d-block"}).get('href')
title = div.find("div",{"class":"h5 font-weight-normal mb-1"}).text
year = div.find("span",{"class":"anime-year mb-2"}).find('a',{"class":"text-link-gray text-underline"}).text
img = div.find("div",{"class":"anime-list-lazy lazy"}).get('data-original')
sd = div.find("div",{"class":"description d-none d-sm-block"}).text
all.append((link, title, year, img, sd))
save(all=all)
parse()
all
лучше не называть переменную - это встроенная функция питона