Небольшая пред история: увидел эту картинку в просторах интернетапосле этого хотелось сделать что-то подобное и решил спарсить страницу Supernatural на IMDB. Я спарсил рейтинг вот в таком виде
[
[{1: '8,7'}, {2: '8,0'}, {3: '8,1'}, {4: '8,2'}, {5: '8,5'}, {6: '8,4'}, {7: '8,0'}, {8: '7,0'}, {9:
'8,9'}, {10: '8,5'}, {11: '8,7'}, {12: '8,9'}, {13: '7,4'}, {14: '8,3'}, {15: '8,4'}, {16: '8,6'},
{17:
'8,4'}, {18: '8,7'}, {19: '8,8'}, {20: '8,5'}, {21: '8,9'}, {22: '9,3'}], # SEASON 1
[{1: '9,3'}, {2: '8,2'}, {3: '8,3'}, {4: '8,1'}, {5: '8,6'}, {6: '8,4'}, {7: '8,7'}, {8: '8,8'}, {9:
'8,8'}, {10: '8,6'}, {11: '8,5'}, {12: '9,0'}, {13: '8,1'}, {14: '8,9'}, {15: '9,2'}, {16: '8,9'},
{17: '8,8'}, {18: '8,6'}, {19: '8,7'}, {20: '9,4'}, {21: '9,2'}, {22: '9,5'}] # SEASON 2
]
приступил к записи csv файла, и никак не могу записать данные в колонну
import requests
from bs4 import BeautifulSoup
import csv
URL = 'https://www.imdb.com/title/tt0460681/episodes'
HEADERS = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
'Chrome/80.0.3987.149 Safari/537.36',
'accept': '*/*'}
FILE = 'supernatural.csv'
def get_html(url, params=None):
r = requests.get(url, headers=HEADERS, params=params)
return r
def get_pages_count(html):
soup = BeautifulSoup(html, 'html.parser')
pagination = soup.find('select', id='bySeason').find_all('option')
if pagination:
return int(pagination[-1].get_text())
else:
return 1
def get_content(html):
soup = BeautifulSoup(html, 'html.parser')
items = soup.find_all('div', class_='list_item')
episodes = []
b = 0
for item in items:
episodes.append({
b: item.find(
'span', class_='ipl-rating-star__rating').get_text().replace('.', ',')
})
b += 1
return episodes
def save_file(items,path):
with open(path, 'w', newline='') as file:
writer = csv.writer(file, delimiter=';')
writer.writerow([season for season in range(0, len(items)+1)]) # тут я пытался создать верхние числа (СЕЗОНЫ)
c = []
for item in items: # тут выяснял сколько максимум серий в сезоне
if len(item) > len(c):
c = item
for season in range(1, len(c) + 1): # боковая нумерация серий
writer.writerow([season])
for i in range(len(items)): # пытался записать в колонну но получилось все в одну колонну
for j in range(1, len(items[i])):
writer.writerow([items[i][j][j]])
def parse():
html = get_html(URL)
if html.status_code == 200:
sp = []
pages_count = get_pages_count(html.text)
for page in range(1, 4):
print(f'Парсинг страницы {page} из {4}...')
html = get_html(URL, params={'season': page})
sp.extend([get_content(html.text)])
# get_content(html.text)
save_file(sp, FILE)
else:
print('Error')
parse()
если знаете как можно это записать правильно поделитесь пожалуйста или дайте направление в какую сторону двигаться(например по другому собрать(спарсить) массив)