1

У меня есть файл (Допустим csv). Если я открываю его в консоли (cat или less), или в sublime-text, то некоторые поля могут содержать посторонние символы (В sublime вроде <0x1c> или <0x10>), в консоли - квадратик с цифрами, в виме - ^\ или ^P

В тоже время, если открть файл в pandas (read_csv) или в libreoffice, то поля выглядят корректно.

Как я понимаю, это проблема с кодировкой, но не могу ее решить.

Что можно сделать для корректного просмотра файла в консоли или других текстовых редакторах?

1
  • 2
    это может быть разделить полей. И это объясняет, почему libreoffice умеет - он их парсит. Если это часть текста, то тут нужно смотреть. мне вначале показалось, что 0х10 - это перевод строки, но это не так. В целом, нужно смотреть в реальные данные
    – KoVadim
    20 мая 2020 в 15:09

1 ответ 1

1

0x10 - DATA LINK ESCAPE. Означает, что следующий за ним управляющий символ должен восприниматься как данные, а не как управляющий символ.

0x1c - INFORMATION SEPARATOR FOUR - предназначался для разделения полей в базах данных

Скорее всего, проблема не в кодировке, а в том, какая программа писала этот файл.

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.