1

Вот код:

import requests
from bs4 import BeautifulSoup as BS 
import csv


def get_html(url):
    r = requests.get(url)
    if r.ok:
        return r.text
    else:
        print(r.status_code)


def write_csv(data):
    with open('4,1.csv', 'w') as f:
        writer = csv.writer(f)
        writer.writerow((data['group'], 
                        data['name'],
                        data['date'],
                        data['time'],
                        data['url']))



def fixing_date(text, number):
    text = text.split(' ')
    date = text[0]
    time = text[1]

    if number == 0:
        return date
    elif number == 1:
        return time


def get_page_data(html):
    soup = BS(html, 'lxml')

    articles = soup.find_all('article', class_='simple-post')
    
    for article in articles:
        
        try:
            group = article.find('p', class_='simple-share').find('a').text
        except:
            group = ''

        try:
            name = article.find('h3').find('a').text
        except:
            name = ''

        try:
            dates = article.find('p', class_='simple-share').find_all('span')[0].text.strip()
            
            date = fixing_date(dates, 0)
            time = fixing_date(dates, 1)

        except:
            dates = ''

        try:
            url = 'http://kabar.kg' + article.find('h3').find('a').get('href')
        except:
            url = ''


        data = {'group': group,
                'name': name,
                'date': date,
                'time': time,
                'url': url}

#       print(data)

        write_csv(data)
        


def main():
    urls = 'http://kabar.kg/cat/strategiia-2040/page{}'

    for i in range(1, 9):
        url = urls.format(str(i))

        get_page_data(get_html(url))




if __name__ == '__main__':
    main()

Это парсер, и он работает. Если выводить, например словарь data, в консоль, то он выводит все нужные данные, но если я начинаю записывать это все в csv файл, то выходит ошибка UnicodeEncodeError: 'charmap' codec can't encode character '\u04a3' in position 52: character maps to undefined Никогда не сталкивался с такой, что еще за символ '\u04a3', от куда он взялся я незнаю, но из за этого ошибка (как я понял в кодировке). Помогите разобраться и исправить пожалуйста.

1 ответ 1

1

Во-первых я не уверен, что запятая в названии файла - это хорошо. Кажется, не всякая операционная система переварит нормально файл с таким названием:

4,1.csv

Во-вторых на линуксе в Google Colab ваш код работает без проблем. Думаю, у вас Windows и файл записывается в кодировке, в которой нет каких-то символов, которые вы пытаетесь записать. Попробуйте явно указать кодировку, например:

with open('4_1.csv', 'w', encoding='utf-8') as f:

Хотя Python 3 вроде бы по умолчанию всё должен делать в UTF-8, вероятно придётся ещё поразбираться.

1
  • даа, запись encoding='utf-8'помогла 7 авг 2020 в 14:14

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.