Есть значение, но неизвестно в какой кодировке. Требуется перекодировать в UTF-8. Можно ли как-нибудь узнать в какой кодировке или автоматически их правильно декодировать?
Пробовал так:
decodeName = name.encode(encoding='UTF-8', errors='replace')
Но, в ответе получаются кракозябры (например: Дарья), т.к. символы, которые не получилось закодировать - пропускались.
Пробовал сделать так:
decodeNameASCII = name.decode("ascii")
encodeNameUTF8 = decodeNameASCII.encode("utf-8", "ignore")
Но выдает ошибку:
decodeNameASCI = name.decode("ascii")
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-4: ordinal not in range(128)
Пробовал так:
decodeNameCP1251 = name.decode("cp1251")
Выдает ошибку:
decodeNameCP1251 = name.decode("cp1251")
File ".....python2.7/encodings/cp1251.py", line 15, in decode
return codecs.charmap_decode(input,errors,decoding_table)
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-4: ordinal not in range(128)
Чисто теоретически можно попробовать угадать кодировку - путем подстановки, но, думаю, это жестко.
Python v2
Дополнение:
- Выборка из БД:
# -*- coding: utf-8 -*-
....
from google.appengine.datastore.datastore_query import Cursor
cursor = self.request.get('cursor')
if cursor != 'undefined':
cursor = Cursor(urlsafe=cursor)
allRows, cursor, more = User.query().fetch_page(1000, start_cursor=cursor)
else:
allRows, cursor, more = User.query().fetch_page(1000)
for rows in allRows:
name = rows.name
decodeName = name.encode(encoding='UTF-8', errors='replace')
....
Поле
name
в таблице БД может быть пустым, полностью из английских букв, полностью из русских и в перемешку (рус+англ+цифры)Запись в файл:
DataForCSV_File.append([decodeName, rows.email, rows.account_type])
f = StringIO()
csv.writer(f).writerows(DataForCSV_File)
file_name = 'dbUser.csv'
- Более подробно формирование файла и выборка была в другом моем вопросе: