0
import requests
import csv
from bs4 import BeautifulSoup

url = 'https://www.zakon.kz/news/page/3'


def parse(url):
   news = []
   response = requests.get(url)
   html = response.text
   soup = BeautifulSoup(html, 'html.parser')
   products = soup.find_all('div', {'class': 'cat_news_item'})
   for product in products:
      title = product.find('a')
      date = product.find('span')
      news.append({
        'name': [name.text for name in product.find_all('a')]
    })
      for i in news:
         print(i)

      with open('zakon.csv', 'w') as files:
          opp = csv.writer(files)
          opp.writerows(i)


print(parse(url))  

не могу понять, в чем проблема, почему информации неправильно записывается в csv файл.

2
  • 1
    Добавьте в вопрос текущий результат и какой должен быть
    – gil9red
    19 ноя 2019 в 16:25
  • 1
    И еще, подправьте отступы в коде, т.к. в текущем виде код не рабочий
    – gil9red
    19 ноя 2019 в 17:04

3 ответа 3

0

Потому что вы создавали словарь для вывода данных, я предполагаю, что вы хотели вывод в формате JSON, а не в формате CSV.

Для этого импортируйте json:

import json

и запишите в него так:

with open('zakon.json', 'w', encoding="utf-8") as files:
    json.dump(news, files, ensure_ascii=False, indent=2)

Файл zakon.json будет после этого выглядеть так (начало):

[
  {
    "name": []
  },
  {
    "name": [
      "Китай взял пример с США и ударил по Microsoft"
    ]
  },
  {
    "name": [
      "Крысы захватили столичный микрорайон"
    ]
  },
  {
    "name": [
      "\"Дала пощечину и зажала рот\". Няня призналась, как укладывала ребенка спать"
    ]
  },
0

Ошибки здесь:

for i in news:
    print(i)

with open('zakon.csv', 'w') as files:
    opp = csv.writer(files)
    opp.writerows(i)

Первая:

После цикла for i in news: в переменной i остается только последний элемент списка news - и только этот элемент вы записываете в файл zakon.csv.

Вторая:

opp.writerows() ожидает параметр iterable (например список, кортеж, словарь) строк, причем каждая строка репрезентирует одну строку для выводного файла. Вы дали как параметр i, что - как я написал выше - последний элемент списка словарей, т.е. словарь.

Итерация словарей идет по ключам, и в вашем словаре только один ключ - 'name'. Так как тот ключ является строкой, он интерпретируется как список символов ['n', 'a', 'm', 'e'] и записывается в выходной файл как n,a,m,e - что вы и получили, хотя не хотели.

Исправление:

with open('zakon.csv', 'w', encoding="utf-8", newline='') as files:
    opp = csv.writer(files)

    for i in news:
        print(i)
        if i['name']:                # Когда список непустой 
            opp.writerow(i['name'])  # Или какой-то другой список (ваши только 1-элементные) 

Файл zakon.csv будет после этого выглядеть так (начало):

Китай взял пример с США и ударил по Microsoft
Крысы захватили столичный микрорайон
"""Дала пощечину и зажала рот"". Няня призналась, как укладывала ребенка спать"
Зеленский и Путин встретятся до пресс-конференции нормандского саммита
"Идеальное место, чтобы выкинуть ребенка - алматинцы о страшной находке"
0

Может выть, что вы хотели:

import requests
import csv
from bs4 import BeautifulSoup

url = 'https://www.zakon.kz/news/page/3'


def parse(url):
    news = []
    response = requests.get(url)
    html = response.text
    soup = BeautifulSoup(html, 'html.parser')
    products = soup.find_all('div', {'class': 'cat_news_item'})
    for product in products:
        title = product.find('a')
        date = product.find('span')
        if title:
            news.append([date.text, title.text])

    with open('zakon.csv', 'w', encoding="utf-8", newline='') as files:
        opp = csv.writer(files)
        opp.writerows(news)

parse(url)

Файл zakon.csv будет после этого выглядеть так (начало):

23:55,"Автобусные полосы в Алматы открыли для такси, но по ним никто не ездит"
23:37,Котлован под фундамент высотки вырыли в нескольких шагах от четырехэтажки
23:02,Семьям погибших вахтовиков выплатили по миллиону
22:46,В молочном союзе рассказали о требованиях к производителям молока
22:15,Бывшие вице-министры энергетики предстанут перед судом еще до конца года
21:36,"Сотрудники ""неотложки"" спасли из горящего дома двоих детей"

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.