11

Пытаюсь читать файл портов от IANA. Он сохранен в кодировке UTF-8 w/o BOM. Но на одной из строк функция readline() ругается вот таким вот образом

'charmap' codec can't decode byte 0x98 in position 7938: character maps to <"undefined">

Строка в файле выглядит следующим образом:

# Jim Harlan <"jimh&infowest.com">

Какой костыль придумать для этого? Или есть прямой путь решения?

UPD

Ибо костыль в виде удаления данной строки пойдет (причем она, почему-то вот такая одна), но только на время отладки, ибо потом вдруг что, партнеры будут рвать волосы на моей голове. Так же выложу код, которым пользуюсь для данной операции:

try:
    file = open(path, 'r')
    while True:
        line = file.readline()
        if(not line):
            break
        print(line)
finally:
    file.close()

4 ответа 4

8

попробуйте использовать встроенную библиотеку codecs:

import codecs
fileObj = codecs.open( "someFilePath", "r", "utf_8_sig" )
text = fileObj.read() # или читайте по строке
fileObj.close()
7
  • Так ошибка нашлась еще раньше: >'charmap' codec can't encode characters in position 29-30: character maps to ><undefined>
    – Dex
    18 сен 2011 в 22:00
  • Добавил в вопрос некоторые поправки.
    – Dex
    19 сен 2011 в 0:02
  • 1
    для utf-8 с BOM нужно поменять encoding в open() на "utf_8_sig"
    – rnd_d
    19 сен 2011 в 7:44
  • 1
    Можно сказать, что 50/50. Проблема с первым файлом решилась удалением злополучной строки. Новый файл в другом формате. Поэтому, пожалуй вы правы, это была случайный всплеск радости. Но плюсик ваш:)
    – Dex
    20 сен 2011 в 20:25
  • 1
    Не используйте codecs, который может некорректно работать с режимом универсальных строк. Вместо этого io.open() можно использовать.
    – jfs
    16 ноя 2016 в 22:17
8

Чтобы прочитать текстовый файл, закодированный с использованием utf-8 кодировки в Питоне, можно использовать io.open() функцию, которая доступна как встроенная open() в Питоне 3:

#!/usr/bin/env python
import io

with io.open(path, encoding='utf-8') as file:
    for line in file:
        process(line)

Если в файле возможны ошибки, связанные с кодировкой: сама кодировка верна, но могут быть мелкие погрешности, тогда можно передать errors='ignore' обработчик ошибок (или другое значение в зависимости от конкретной ситуации).

Не используйте codecs, который может некорректно работать с режимом универсальных строк.
Не нужно менять вашу кодовую страницу на cp65001, чтобы utf-8 файл прочитать.
Если хотите напечатать Unicode в Виндовую консоль, то см. Как из Python вывести на Windows-консоль строку в Юникоде?

2

Постоянно ловил эту ошибку, раз за разом. Решение увидел здесь.

import codecs
file = codecs.open( "yourFile", "r", "utf-8" )
data = file.read()
file .close()
  • chcp 65001 в командной строке

Этими не сложными действиями проблема решена.

1
1
file = codecs.open(path, encoding='utf-8', mode='r')
3
  • Так пробовали уже, не заработало
    – Dex
    19 сен 2011 в 8:37
  • 'utf-8', а не 'utf-8-sig'
    – Ali
    19 сен 2011 в 8:38
  • Пробовал. До этого был ответ с utf-8.
    – Dex
    19 сен 2011 в 9:33

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.