0

Небольшая пред история: увидел эту картинку в просторах интернетавведите сюда описание изображенияпосле этого хотелось сделать что-то подобное и решил спарсить страницу Supernatural на IMDB. Я спарсил рейтинг вот в таком виде

[
   [{1: '8,7'}, {2: '8,0'}, {3: '8,1'}, {4: '8,2'}, {5: '8,5'}, {6: '8,4'}, {7: '8,0'}, {8: '7,0'}, {9: 
   '8,9'}, {10: '8,5'}, {11: '8,7'}, {12: '8,9'}, {13: '7,4'}, {14: '8,3'}, {15: '8,4'}, {16: '8,6'}, 
   {17: 
   '8,4'}, {18: '8,7'}, {19: '8,8'}, {20: '8,5'}, {21: '8,9'}, {22: '9,3'}], # SEASON 1
   [{1: '9,3'}, {2: '8,2'}, {3: '8,3'}, {4: '8,1'}, {5: '8,6'}, {6: '8,4'}, {7: '8,7'}, {8: '8,8'}, {9: 
   '8,8'}, {10: '8,6'}, {11: '8,5'}, {12: '9,0'}, {13: '8,1'}, {14: '8,9'}, {15: '9,2'}, {16: '8,9'}, 
   {17: '8,8'}, {18: '8,6'}, {19: '8,7'}, {20: '9,4'}, {21: '9,2'}, {22: '9,5'}] # SEASON 2
]

приступил к записи csv файла, и никак не могу записать данные в колонну

import requests
from bs4 import BeautifulSoup
import csv

URL = 'https://www.imdb.com/title/tt0460681/episodes'
HEADERS = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                  'Chrome/80.0.3987.149 Safari/537.36',
    'accept': '*/*'}

FILE = 'supernatural.csv'


def get_html(url, params=None):
    r = requests.get(url, headers=HEADERS, params=params)
    return r


def get_pages_count(html):
    soup = BeautifulSoup(html, 'html.parser')
    pagination = soup.find('select', id='bySeason').find_all('option')

    if pagination:
        return int(pagination[-1].get_text())
    else:
        return 1


def get_content(html):
    soup = BeautifulSoup(html, 'html.parser')
    items = soup.find_all('div', class_='list_item')
    episodes = []
    b = 0
    for item in items:
        episodes.append({
            b: item.find(
                'span', class_='ipl-rating-star__rating').get_text().replace('.', ',')
        })
        b += 1

    return episodes

    def save_file(items,path):
        with open(path, 'w', newline='') as file:
            writer = csv.writer(file, delimiter=';')
            writer.writerow([season for season in range(0, len(items)+1)]) # тут я пытался создать верхние числа (СЕЗОНЫ)
            c = []
            for item in items: # тут выяснял сколько максимум серий в сезоне
                if len(item) > len(c):
                    c = item
            for season in range(1, len(c) + 1): # боковая нумерация серий
                writer.writerow([season])

            for i in range(len(items)): # пытался записать в колонну но получилось все в одну колонну
                for j in range(1, len(items[i])):
                    writer.writerow([items[i][j][j]])

def parse():
    html = get_html(URL)
    if html.status_code == 200:
        sp = []
        pages_count = get_pages_count(html.text)
        for page in range(1, 4):
            print(f'Парсинг страницы {page} из {4}...')
            html = get_html(URL, params={'season': page})
            sp.extend([get_content(html.text)])
        # get_content(html.text)
        save_file(sp, FILE)

    else:
        print('Error')


parse()

если знаете как можно это записать правильно поделитесь пожалуйста или дайте направление в какую сторону двигаться(например по другому собрать(спарсить) массив)

1 ответ 1

0

можно попробовать как-то так

на случай разного кол-ва серий в сезоне, можно воспользоваться zip_longest

items = [
   [{1: '8,7'}, {2: '8,0'}, {3: '8,1'}, {4: '8,2'}, {5: '8,5'},], # SEASON 1
   [{1: '9,3'}, {2: '8,2'}, {3: '8,3'}] # SEASON 2
]


class writer :
  def writerow(s) : print(s)

from itertools import zip_longest

writer.writerow(['']+[season for season in range(1, len(items)+1)]) # тут я пытался создать верхние числа (СЕЗОНЫ)
c = []
for item in items: # тут выяснял сколько максимум серий в сезоне
    if len(item) > len(c):
        c = item

for i in zip_longest(range(1, len(c) + 1),*items): 
  writer.writerow([i[0]]+ list(map(lambda x: '' if x is None else list(x.values())[0], i[1:])))

вот тка получается

['', 1, 2]
[1, '8,7', '9,3']
[2, '8,0', '8,2']
[3, '8,1', '8,3']
[4, '8,2', '']
[5, '8,5', '']

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.