0
System.out.println(tag.getFirst(FieldKey.ALBUM));

Я получаю строку, вывожу ее на экран: ??????? ???? ??????

Опытным путем я выяснил что это кодировка UTF-16 (наверное?!)

System.out.println(new String(tag.getFirst(FieldKey.ALBUM).getBytes("UTF-16"), "windows-1251"));

Вывело на экран: юя С н а ч а л а Б ы л о С о л н ц е. !!! При этом, любой текст копипастится, но этот из консоли сюда не вставляется.

??? Первый вопрос: что за "юя" в начале строки, на телефоне этих букв нет в тегах трека.

Написал код:

byte masByte[] = tag.getFirst(FieldKey.ALBUM).getBytes("UTF-16");
for (int i = 0; i < masByte.length; i++) {
    System.out.print(masByte[i]);
}

Выводит: -2-10-470-190-320-90-320-210-320320-630-50-210-180320-470-180-210-190-100-27

Главный вопрос: есть ли библиотека определения кодировки, или алгоритм? P.S. Что бы определять любую популярную кодировку.

4
  • Уточните пожалуйста - Какую библиотеку используете для выемки тегов из файла? 2 окт 2015 в 12:10
  • Переделайте цикл вывода байт на System.out.println(Arrays.toString(masByte)); и короче и выглядит нагляденей. А то у вас байты слиплись - непонятно. 2 окт 2015 в 12:12
  • "System.out.print(masByte[i]);" - а пробелы между ними кто выводить будет? -2 -1 0 -47 0 -19 0 ...
    – Qwertiy
    2 окт 2015 в 12:13
  • Библиотека Jaudioatgger 2 окт 2015 в 13:07

2 ответа 2

1

Не существует понятие «кодировка строки».

Есть

  • либо строка,
  • либо набор байтов, который эту самую строку представляет, плюс кодировка.

Задача определения кодировки набора байтов неразрешима корректно. Вы можете провести частотный анализ, но это ужасное, отвратительное, не работающее (кроме лёгких случаев) решение.

Если tag.getFirst возвращает строку, она должна быть правильной строкой. Если нет — ругайтесь с разработчиками библиотеки.

8
  • "не работающее (кроме лёгких случаев)" - скорее наоборот, почти всегда работающее.
    – Qwertiy
    2 окт 2015 в 12:11
  • @Qwertiy: Потому что в простых тестах попадаются в основном лёгкие случаи? :-P
    – VladD
    2 окт 2015 в 12:17
  • @VladD, а легкий случай, это когда весь текст длинный и в одной кодировке? Насколько помню, статистика языка проявляется уже на десятках символов осмысленного текста.
    – avp
    2 окт 2015 в 12:20
  • @avp: Угу. Например, когда в русском тексте нет английских вставок. Плюс очень непросто отделить таким образом английский от других европейских языков => может быть проблема с автовыбором кодировки.
    – VladD
    2 окт 2015 в 12:28
  • А чем английские буквы, цифры, символы пунктуации и т.п. могут помешать? Их же просто не учитывают при наборе статистики. А вот отделить части cp1251 от koi8-r (или сделать выбор между ними для короткого текста) весьма непросто.
    – avp
    2 окт 2015 в 16:26
1

юя- это byte order mark: -2 -1. - это не пробел, а символ с кодом 0. Просто потому что UTF16 - это 2 байта на символ. Но это не UTF16 - там русские буквы имеют совсем другие коды. Это Win1251 со вставленными между байтами ноликами, выдаваемое за UTF16 с BOM.

С байтами нада работать в массивах байт, со строками - в строках. Пихать байты в строки, а потом пытаться что-то сделать плохо. И никто за тебя не станет разбираться, какой специфичный костыль для конкретного случая тебе надо написать.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.