1

Вобщем вот мой парсер python.Я собираю данные(название,картинка,год,описание) ссылка на сайт https://animego.org/anime .Как я понял сайт динамический, по-этому я покопался в сети и нашел полный url, дальше как я понял у сайта всего 96 страниц.Данные собрались.НО не полность собралось всего лишь 1 страница наверное.Помогите пожалуйста.

import requests
from bs4 import BeautifulSoup
import csv

def save(all):
    with open('example2.csv', 'w') as myfile:
        writer = csv.writer(myfile)
        writer.writerows(all)
 
print("Идёт сбор данных...")
def parse():
    for page in range(1,97):
        url = f"https://animego.org/anime?sort=a.createdAt&direction=desc&type=animes&page={page}" #96
        r = requests.get(url=url)
        soup = BeautifulSoup(r.content,'html.parser')
        divs = soup.findAll("div", {"class":"animes-list-item media"})
        all = []
        print(f"Собранно страниц {page} / 97")
        for div in divs:
            link = div.find("a",{"class":"d-block"}).get('href')
            title = div.find("div",{"class":"h5 font-weight-normal mb-1"}).text
            year = div.find("span",{"class":"anime-year mb-2"}).find('a',{"class":"text-link-gray text-underline"}).text
            img = div.find("div",{"class":"anime-list-lazy lazy"}).get('data-original')
            sd = div.find("div",{"class":"description d-none d-sm-block"}).text
            all.append((link, title, year, img, sd))

        save(all=all)
parse()
3
  • all лучше не называть переменную - это встроенная функция питона
    – CrazyElf
    12 дек 2021 в 7:17
  • Да? А что она делает? 12 дек 2021 в 9:27
  • Хм, действительно встроенная функция. Ладно тогда переименную её. 12 дек 2021 в 9:30

1 ответ 1

1

Все.Я понял где у меня была ошибка массив data = [],нужно было вынести за первый цикл for.

import requests
from bs4 import BeautifulSoup
import csv

def save(data):
    with open('example2.csv', 'w') as myfile:
        writer = csv.writer(myfile)
        writer.writerows(data)

print("Идёт сбор данных...")
def parse():
    data = []
    for page in range(1,97):
        url = f"https://animego.org/anime?sort=a.createdAt&direction=desc&type=animes&page={page}" #96
        r = requests.get(url=url)
        soup = BeautifulSoup(r.content,'html.parser')
        divs = soup.findAll("div", {"class":"animes-list-item media"})
        print(f"Собранно страниц {page} / 96")
        for div in divs:
            link = div.find("a",{"class":"d-block"}).get('href')
            title = div.find("div",{"class":"h5 font-weight-normal mb-1"}).text
            year = div.find("span",{"class":"anime-year mb-2"}).find('a',{"class":"text-link-gray text-underline"}).text
            img = div.find("div",{"class":"anime-list-lazy lazy"}).get('data-original')
            sd = div.find("div",{"class":"description d-none d-sm-block"}).text
            data.append((link, title, year, img, sd))

        save(data=data)
parse()

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.