Сделал парсер, чтобы выгружал текст с картинкой, сделал отдельный список для картинок, пытаюсь добавить в список для вывода, но сохраняет, не все элементы, а только последний. Пожалуйста подскажите, что делать?
Сам код:
import uuid
import requests
from bs4 import BeautifulSoup
import csv
import os
URL = 'https://ptk-svarka.ru/catalog/apparaty-poluavtomaticheskoy-svarki-mig'
HEADERS = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36', 'accept': '*/*'}
FILE = 'svarka.csv'
HOST = 'upload/image/'
def get_html(url, params=None):
r = requests.get(url, headers=HEADERS, params=params)
return r
def get_Stranic(html):
soup = BeautifulSoup(html, 'html.parser')
items = soup.find_all('div', class_='b-grid__item js-product-item')
stranica_svarka=[]
for item in items:
stranica_svarka.append(
item.find('a', class_='b-products__text').get('href'),
)
return stranica_svarka
def get_image(html):
soup = BeautifulSoup(html, 'html.parser')
items = soup.find_all('div', class_='b-grid__item js-product-item')
image = []
for item in items:
image.append(
item.find('img', class_='lozad').get('data-src')
)
return image
def get_html_vivod(stranic, img):
for i in img:
img_way = i.split('/')[-1]
svarka = []
for url in stranic:
r = requests.get(url, headers=HEADERS)
r = r.content
soup = BeautifulSoup(r, 'html.parser')
items = soup.find_all('article', class_='b-product__wrapper')
for item in items:
svarka.append({
"title": item.find('h1', class_='b-product__title').get_text(strip=True),
"articul": item.find('div', class_='b-product__meta').get_text(strip=True).replace('Артикул: ',''),
"price": item.find('span', class_='b-products__price').find_next('span').get_text(strip=True).replace(' ', '').replace('р', '.00').replace('\xa0', ''),
"text": item.find('div', class_='b-product-tab__main').get_text(strip=True),
"image": HOST + img_way
})
return svarka
def save_file(svarka, path):
with open(path, 'w', newline='') as file:
writer = csv.writer(file, delimiter=';')
writer.writerow(['Название', 'Артикул', 'Цена', 'Подробное описание', 'Картинка'])
global item
for item in svarka:
writer.writerow((item.get("title"), item.get("articul"), item.get("price"), item.get("text"), item.get("image")))
def parse():
URL = input('Введите URL: ')
URL = URL.strip()
html = get_html(URL)
if html.status_code == 200:
stranic = get_Stranic(html.text)
img = get_image(html.text)
svarka = get_html_vivod(stranic, img)
save_file(svarka, FILE)
print(f' Получено {len(svarka)} сварочных аппаратов')
os.startfile(FILE)
else:
print('Error')
parse()