0

Как правильно записать dictionary в csv файл? Забил спарсенные данные в словарь, хочу записать содержимое значения по ключам в отдельный столбик, и одну из пары ключ значение разбить и сделать из них 4 части. Проблема в том, что данные необходимо сохранить в кодировке utf-8, чтобы русские символы в файле отразились корректно. Привожу пример моего кода, сейчас все записывается в один сплошной столбец, мне же нужно сформировать подобие прайса в csv

import requests
from bs4 import BeautifulSoup

import csv
import re
def get_html(url):
    r = requests.get(url)
    return r.text
url='http://www.autobody.ru/kuzovnoy-remont/'
html=get_html(url)
soup=BeautifulSoup(html, 'html.parser')


mydivs = soup.findAll('a',class_="banners_images")

urls=[]
for i in mydivs:
     ur=(i.get('href'))
     ur='http://www.autobody.ru'+str(ur)
     urls.append(ur)
#head =[]
#headers = soup.findAll('h1')
#head.append(headers[0].text.strip())
images=[]
heads =[]
artic=[]
atrib=[]
price=[]
for i in urls:
 html=get_html(i)
 soup=BeautifulSoup(html, 'html.parser')
 head = soup.find('h1').get_text()
 heads.append(head )

 image=[x['src'] for x in soup.findAll('img', {'class': 'detimg'})]
 image1='http://www.autobody.ru'+image[0]
 images.append(image1)

 price1 = soup.find('div', class_='price').get_text()
 price1=re.sub(r"c",r"p", price1)
 price.append(price1)
 for tr in soup.find('table', class_='tech').find_all('tr'):
    artic.append(tr.get_text())
 da={'titles': heads,'texts':price,'ff':artic,'images':images}

 with open('c:\\1\\121.csv','a') as f:
  f.write(u'\ufeff'.encode('utf8')) # writes "byte order mark" UTF-8 signature
  writer=csv.writer(f)
  for i in da:
   for rows in da[i]:
    writer.writerow([rows.encode('utf8')])

2 ответа 2

1

Вот пример моего кода где я записывал спарсенные данные в cvs файл.

from bs4 import BeautifulSoup
import csv

def parse(html):#собираем данные со страницы
    soup = BeautifulSoup(html)

    teams = []

    for row in soup.select('tbody > tr'):
        cols = row.select('td')

        teams.append({
            'Место': cols[0].text,
            'Команда': [name.text for name in row.select('a[class=name]')],
            'Матчи': cols[2].text
        })

    return teams

def save(teams,path):#ФУНКЦИЯ ЗАПИСИ СПАРСЕННЫХ ФАЙЛОВ В CSV ФАЙЛ
    with open(path,'w') as csvfile:
        writer = csv.writer(csvfile)
        writer.writerow(('Место','Команда','Матчи'))

        for team in teams:
            writer.writerow((team['Место'],team['Команда'],team['Матчи']))


if __name__ == '__main__':
    url = 'https://www.sports.ru/epl/table/'

    import urllib.request
    with urllib.request.urlopen(url) as rs:
        html = rs.read()

    teams = parse(html)

    save(teams,'апл.csv')

    for team in teams:
        print(team)

Вот сама функция записи.

def save(teams,path):#ФУНКЦИЯ ЗАПИСИ СПАРСЕННЫХ ДАННЫХ В CSV ФАЙЛ
    with open(path,'w') as csvfile:
        writer = csv.writer(csvfile)
        writer.writerow(('Место','Команда','Матчи'))

        for team in teams:
            writer.writerow((team['Место'],team['Команда'],team['Матчи']))
1
  • спасибо за ответ . не получается сделать таким образом , так как не могу преобразовать кодировку
    – egorkh
    9 сен 2017 в 13:50
1

Чтобы записать словарь с не-ASCII данными в csv формате:

#!/usr/bin/env python3
import csv
import sys

d = {'a': 123, 'b': 456, 'c': 'Non-ASCII: проверка'}
writer = csv.DictWriter(sys.stdout, fieldnames=d)
writer.writeheader()
writer.writerow(d)

чтобы писать в файл в желаемой кодировке замените sys.stdout на file, заданный к примеру как with open('result.csv', 'w', newline='', encoding='utf-8') as file:.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.