1

Мне нужно передать с сервера на клиент строковый json. Наполняется он в основном кириллицей. У меня в windows работает такая конструкция на python:

fields = []
for n in xrange(1, len(file_import.fields)):
    fields.append({
        'index': n, 
        'verbose': str(file_import.fields[n][0])
    })
return fields

Готовый проект развёрнут на линуксе, там в этом месте возникает ошибка:

UnicodeDecodeError at /dend_mod/ 'charmap' codec can't decode byte 0x98 in position 1: character maps to <undefined>

Кусочек трейсбека:

    File "/opt/projects/minimal/dend_mod/imp.py" in manager_fields_imp
  50.             'verbose': str(file_import.fields[n][0])

File "/home/storage/minimal/venv/lib64/python2.7/encodings/cp1251.py" in decode
  15.         return codecs.charmap_decode(input,errors,decoding_table)

Строка была переведена в unicode, были попытки преобразовать её к разным кодировкам (cp1251, cp866). Единственный вариант, который прошёл без ошибок, выглядел как

'verbose': file_import.fields[n][0].decode('cp1251', 'ignore')

и вывод выглядел как кракозябры. Что я должна сделать, чтобы снова увидеть родные буковки, и как приспособиться к разным ОС в проекте?

UPDATE Был найден ответ, по которому системная кодировка узнаётся кодом

import sys
sys.stdout.encoding

Но теперь в windows кракозябры. Если сделать json через try-except с разными кодировками, всё равно в одном случае неправильно в windows, в другом - в linux.

3
  • Какой тип у file_import.fields[n][0]? Создайте минимальный, но самодостаточный пример кода, который демонстрирует ошибку: минимальный воспроизводимый пример
    – jfs
    6 авг 2016 в 0:50
  • file_import.fields[n][0] - это содержимое ячейки атрибутивной таблицы shape-файла. Оно может содержать строку, число, истину/ложь. Ошибка возникает при обработке строки. Shape-файлы содержать служебную информацию о кодировке атрибутивной таблицы. У моего конкретно файла кодировка utf-8, а теоретически доступно множество кодировок ANSI, ISO, OEM
    – Mae
    8 авг 2016 в 9:51
  • 1
    если ячейка содержит "строку", то поищите API, которое возвращает unicode напрямую либо позволяет узнать используемую кодировку, потому что использовать sys.stdout.encoding неправильно (кодировка, используемая в файле не обязана совпадать с кодировкой используемой для вывода на экран. Это должно быть очевидно: файл всегда один и тот же (одна и та же кодировка), а кодировки вывода могут быть разные, например, у вас в Windows в cmd это может быть cp866, а у меня в Linux это utf-8 (от смены окружения кодировка внутри файла вдруг не изменится).
    – jfs
    8 авг 2016 в 10:17

3 ответа 3

1

Оказывается, кодировку можно узнать с помощью

import sys
sys.stdout.encoding

И тогда заполнение json выглядит так:

fields = []
for n in xrange(1, len(file_import.fields)):
    fields.append({
        'index': n, 
        'verbose': file_import.fields[n][0].decode(sys.stdout.encoding, 'replace')
    })
return fields

Символы в браузере корректно отображаются как кириллица, а те символы, которые не декодировались в стандартную кодировку, заменяются на знаки вопроса.

0

Возможно чтото такое поможет:

>>> a = 'texqweфывыфвt'.encode(encoding='utf-8', errors='ignore').decode('utf-8', 'ignore')
>>> print(a)
texqweфывыфвt
1
  • 'ascii' codec can't decode byte 0xcd in position 0: ordinal not in range(128) - вывело такую ошибку даже в windows. А зачем кодировать юникод в байты и снова декодировать их в юникод?
    – Mae
    5 авг 2016 в 13:10
0

Как справедливо заметил @jfs, кодировка файла и sys.stdout.encoding не связаны. Кодировку файла можно узнать с помощью библиотеки chardet. У неё есть существенный недостаток: она сильно затормаживает работу приложения. На всякий случай приведу код.

opened_file = zip_file.read(name, 'rb') # откроем файл, например, так
import chardet
coding = chardet.detect(opened_file)['encoding'] # получим кодировку: "UTF-8" или "windows-1251", или другую

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.