Всем привет. Подскажите, пожалуйста, как я могу добавить в словарь ссылки на картинки без [], чтобы в дальнейшем загрузить все товары с картинками на сайт
Вот сам код:
import requests
#import json
from bs4 import BeautifulSoup
import csv
import re
HOST = "САЙТ"
CSV = 'parsing.csv'
def get_html(url): #берём html стрраницы, которую будем парсить
r= requests.get(url)
return r
def get_url_site(url_category): #Получаем линки сайд бара
soup = BeautifulSoup(url_category, 'html.parser')
categorys = soup.find_all('dt')
urls = []
for item in categorys:
if item.find('a').get('href') == None:
continue
else:
urls.append(HOST + item.find('a').get('href'))
return urls
def get_url_tovar(url_tovar): # Получаем линки товара настранице
soup = BeautifulSoup(url_tovar, 'html.parser')
tovar = soup.find_all('h4', class_='item-title')
urls = []
for item in tovar:
if item.find('a').get('href') == None:
continue
else:
urls.append(HOST + item.find('a').get('href'))
return urls
def get_pagination(url_tovar_pagin): # получаем количество страниц
soup = BeautifulSoup(url_tovar_pagin, 'html.parser')
PAGINATION = soup.find('div', class_='pagination')
if PAGINATION == None:
pass
else:
PAGINATION = soup.find('div', class_='pagination').find_all(string=['1','2','3','4','5','6','7','8','9','10','11','12','13','14','15','16','17','18','19'])
for item in PAGINATION:
if item.find('a') == None:
continue
else:
return PAGINATION
def get_all_tovar(): # получаем линк со всех товаров сайта
URL_sidebar = get_url_site(get_html(HOST).text)
tovar_url = []
for i in range(1): #len(URL_sidebar)
URL_tovar = get_url_tovar(get_html(URL_sidebar[i]).text)
num_pagination = get_pagination(get_html(URL_sidebar[i]).text)
if num_pagination != None:
for item_pagination in range(len(num_pagination)):
URL_tovar_1 = get_html(URL_sidebar[i]+"/"+num_pagination[item_pagination])
for b in range (len(get_url_tovar(URL_tovar_1.text))):
tovar_url.append(get_url_tovar(URL_tovar_1.text)[b])
else:
for c in range (len(URL_tovar)):
tovar_url.append(URL_tovar[c])
return tovar_url
#print (URL_tovar, num_pagination)
get_all_tovar()
def save_doc(items, path):
with open(path, 'w', newline='') as file:
writer = csv.writer(file, delimiter=';')
writer.writerow(['название', 'цена', 'картинка', 'Описание'])#заголовки
for item in items:
writer.writerow( [item['title'], item['price'], item['img'], item['text']])#заголовки
def parss():
tovar = []
for a in range(len(get_all_tovar())):
connect = get_html(get_all_tovar()[a]).text
soup = BeautifulSoup(connect, 'html.parser')
tovar_pars = soup.find_all('div', class_='jbzoo')
tovar_link = []
for b in tovar_pars:
if b.find('h2', class_='element-itemname') == None:
continue
else:
for link in b.find('div', class_='rborder').find_all('a', class_='jbimage-link'):
tovar_link.append (HOST+link.get('href'))
tovar.append(
{
'title':b.find('h2', class_='element-itemname').get_text(),
'price':b.find('span', class_='price-value').get_text(),
'img':tovar_link,
'text':b.find('div', class_='element-textarea').get_text(strip=True),
}
)
save_doc(tovar,CSV)
print(tovar, len(tovar))
parss()
Вывод:
[{'title': ' ', 'img': ['/images/brands/baikal/1baikal.jpg', '/images/brands/baikal/2baikal.jpg', '/images/brands/baikal/3baikal', '/images/brands/baikal/4baikal', '/images/brands/baikal/5baikal', '/images/brands/baikal/6baikal'], 'text': ''}]
Какой вывод необходим
[{'title': ' ', 'img': '/images/brands/baikal/1baikal.jpg', '/images/brands/baikal/2baikal.jpg', '/images/brands/baikal/3baikal.jpg', '/images/brands/baikal/4baikal.jpg', '/images/brands/baikal/5baikal.jpg', '/images/brands/baikal/6baikal.jpg', 'text': ''}]