0

Всем привет. Подскажите, пожалуйста, как я могу добавить в словарь ссылки на картинки без [], чтобы в дальнейшем загрузить все товары с картинками на сайт

Вот сам код:

import requests
#import json
from bs4 import BeautifulSoup
import csv
import re

HOST = "САЙТ"
CSV = 'parsing.csv'
def get_html(url): #берём html стрраницы, которую будем парсить
    r= requests.get(url)
    return r
def get_url_site(url_category): #Получаем линки сайд бара
    soup = BeautifulSoup(url_category, 'html.parser')
    categorys = soup.find_all('dt')
    urls = []
    for item in categorys:
        if item.find('a').get('href') == None:
            continue
        else:
            urls.append(HOST + item.find('a').get('href'))
    return urls
def get_url_tovar(url_tovar): # Получаем линки товара настранице
    soup = BeautifulSoup(url_tovar, 'html.parser')
    tovar = soup.find_all('h4', class_='item-title')
    urls = []
    for item in tovar:
        if item.find('a').get('href') == None:
            continue
        else:
            urls.append(HOST + item.find('a').get('href'))
    return urls
def get_pagination(url_tovar_pagin): # получаем количество страниц
    soup = BeautifulSoup(url_tovar_pagin, 'html.parser')
    PAGINATION = soup.find('div', class_='pagination')
    if PAGINATION == None:
        pass
    else:
        PAGINATION = soup.find('div', class_='pagination').find_all(string=['1','2','3','4','5','6','7','8','9','10','11','12','13','14','15','16','17','18','19'])
        for item in PAGINATION:
            if item.find('a') == None:
                continue
            else:
                
                return PAGINATION

def get_all_tovar(): # получаем линк со всех товаров сайта
    URL_sidebar = get_url_site(get_html(HOST).text)
    tovar_url = []
    for i in range(1): #len(URL_sidebar)
        URL_tovar = get_url_tovar(get_html(URL_sidebar[i]).text)
        num_pagination = get_pagination(get_html(URL_sidebar[i]).text)
        if num_pagination != None:
            for item_pagination in range(len(num_pagination)):
                URL_tovar_1 = get_html(URL_sidebar[i]+"/"+num_pagination[item_pagination])
                for b in range (len(get_url_tovar(URL_tovar_1.text))):
                    tovar_url.append(get_url_tovar(URL_tovar_1.text)[b])
        else:
            for c in range (len(URL_tovar)):
                tovar_url.append(URL_tovar[c])
    return tovar_url
        #print (URL_tovar, num_pagination)
get_all_tovar()

def save_doc(items, path):
    with open(path, 'w', newline='') as file:
        writer = csv.writer(file, delimiter=';')
        writer.writerow(['название', 'цена', 'картинка', 'Описание'])#заголовки
        for item in items:
            writer.writerow( [item['title'], item['price'], item['img'], item['text']])#заголовки         
            
def parss():    
    tovar = []
    for a in range(len(get_all_tovar())):
        connect = get_html(get_all_tovar()[a]).text
        soup = BeautifulSoup(connect, 'html.parser')
        tovar_pars = soup.find_all('div', class_='jbzoo')
        tovar_link = []
        for b in tovar_pars:
            if b.find('h2', class_='element-itemname') == None:
                continue
            else:
                for link in b.find('div', class_='rborder').find_all('a', class_='jbimage-link'):
                    tovar_link.append (HOST+link.get('href'))
                
                tovar.append(
                    {
                        'title':b.find('h2', class_='element-itemname').get_text(),
                        'price':b.find('span', class_='price-value').get_text(),
                        'img':tovar_link,
                        'text':b.find('div', class_='element-textarea').get_text(strip=True),
                    }
                )
            
        save_doc(tovar,CSV)
        print(tovar, len(tovar))
    
parss()           

Вывод:

[{'title': ' ', 'img': ['/images/brands/baikal/1baikal.jpg', '/images/brands/baikal/2baikal.jpg', '/images/brands/baikal/3baikal', '/images/brands/baikal/4baikal', '/images/brands/baikal/5baikal', '/images/brands/baikal/6baikal'], 'text': ''}]

Какой вывод необходим

[{'title': ' ', 'img': '/images/brands/baikal/1baikal.jpg', '/images/brands/baikal/2baikal.jpg', '/images/brands/baikal/3baikal.jpg', '/images/brands/baikal/4baikal.jpg', '/images/brands/baikal/5baikal.jpg', '/images/brands/baikal/6baikal.jpg', 'text': ''}]
2
  • 2
    Необходимый вывод синтаксически неправильный. Вы его потом как хотите использовать?
    – Jazzis
    1 ноя 2022 в 10:34
  • @Jazzis мне нужно в дальнейшем скормить данный файл в Woocomerce, чтобы он добавил товары с картинками, которые будут указаны в файле.
    – DieFox
    1 ноя 2022 в 10:54

1 ответ 1

1

Вам получается надо просто избавиться от квадратных скобок выводимого списка. Перепишите метод save_doc следующим образом:

def save_doc(items, path):
    with open(path, 'w', newline='') as file:
        writer = csv.writer(file, delimiter=';')
        writer.writerow(['название', 'цена', 'картинка', 'Описание'])#заголовки
        for item in items:
            # если список пуст, то ничего не выводим в столбец
            images = ''
            # иначе выводим без квадратных скобок
            if len(item['img']) > 0:
                images = str(item['img'])[1:-1]
            writer.writerow( [item['title'], item['price'], images, item['text']])#заголовки
1
  • 2
    Спасибо Вам большое за ответ, а также за то, что смогли разобрать мой код. Действительно, существуют такие методы как срезы, про которые я забыл. Не занимался питоном в течение 4 лет, остановился на уровне классов. Вот спустя длительное время необходимо было решить свою тревиальную бизнес-задачу, бьюсь 2-ой день =) Спасибо Вам огромное за помощь!!!
    – DieFox
    1 ноя 2022 в 11:43

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.