Вот код:
import requests
from bs4 import BeautifulSoup as BS
import csv
def get_html(url):
r = requests.get(url)
if r.ok:
return r.text
else:
print(r.status_code)
def write_csv(data):
with open('4,1.csv', 'w') as f:
writer = csv.writer(f)
writer.writerow((data['group'],
data['name'],
data['date'],
data['time'],
data['url']))
def fixing_date(text, number):
text = text.split(' ')
date = text[0]
time = text[1]
if number == 0:
return date
elif number == 1:
return time
def get_page_data(html):
soup = BS(html, 'lxml')
articles = soup.find_all('article', class_='simple-post')
for article in articles:
try:
group = article.find('p', class_='simple-share').find('a').text
except:
group = ''
try:
name = article.find('h3').find('a').text
except:
name = ''
try:
dates = article.find('p', class_='simple-share').find_all('span')[0].text.strip()
date = fixing_date(dates, 0)
time = fixing_date(dates, 1)
except:
dates = ''
try:
url = 'http://kabar.kg' + article.find('h3').find('a').get('href')
except:
url = ''
data = {'group': group,
'name': name,
'date': date,
'time': time,
'url': url}
# print(data)
write_csv(data)
def main():
urls = 'http://kabar.kg/cat/strategiia-2040/page{}'
for i in range(1, 9):
url = urls.format(str(i))
get_page_data(get_html(url))
if __name__ == '__main__':
main()
Это парсер, и он работает. Если выводить, например словарь data, в консоль, то он выводит все нужные данные, но если я начинаю записывать это все в csv файл, то выходит ошибка UnicodeEncodeError: 'charmap' codec can't encode character '\u04a3' in position 52: character maps to undefined Никогда не сталкивался с такой, что еще за символ '\u04a3', от куда он взялся я незнаю, но из за этого ошибка (как я понял в кодировке). Помогите разобраться и исправить пожалуйста.