0

Есть файл в Юникоде такого вида (в hex):

0000000 bbef 00bf 0041 0030 0030 0030 0020 0020
0000010 0020 0020 0020 0030 0030 0030 0030 0030
0000020 0030 0030 0030 0030 0030 0030 0031 0032
0000030 0036 0031 0035 0032 0030 0030 0034 0034
0000040 0032 0031 0035 0032 0030 0031 0036 0031
0000050 0031 0030 0032 0030 0030 0030 0030 0030
0000060 0030 0031 0026 004f 0046 0031 002e 0033
.....

Его нужно преобразовать в кодировку ISO-8859-8 и CP862. Делаю преобразование таким способом encode('ISO-8859-8', NFC(encode('UTF-8', $line))), но для любой из этих двух кодировок, файл преобразовывается неправильно.

В ISO-8859-8:

0000000 bb3f 003f 0041 0030 0030 0030 0020 0020
0000010 0020 0020 0020 0030 0030 0030 0030 0030
0000020 0030 0030 0030 0030 0030 0030 0031 0032
0000030 0036 0031 0035 0032 0030 0030 0034 0034

В CP862:

0000000 5c3f 7b78 3030 6661 5c7d 7b78 3030 3861
0000010 007d 0041 0030 0030 0030 0020 0020 0020
0000020 0020 0020 0030 0030 0030 0030 0030 0030
0000030 0030 0030 0030 0030 0030 0031 0032 0036

Скрипт:

#!/usr/bin/perl
no warnings;

use utf8;
#use open ':std', ':encoding(UTF-8)'; 
use Text::Iconv;
use Unicode::Normalize qw(NFC);
use Encode qw(encode decode from_to);
use feature 'say';

for $filename (glob('*.TXT')) {
    say "Where you want to save $filename in ISO-8859-8?";
    $newfilename1 = <>;
    chomp($newfilename1);

    say "Where you want to save $filename in CP862?";
    $newfilename2 = <>;
    chomp($newfilename2);

    open (FILE_IN, '<:encoding(utf8)', "$filename");
    open (FILE_OUT1, '>:encoding(ISO-8859-8)', "$newfilename1");
    open (FILE_OUT2, '>:encoding(CP862)', "$newfilename2");
    while ($line = <FILE_IN>) {
        $line = NFC(encode('UTF-8', $line));
        print FILE_OUT1 encode('ISO-8859-8', $line);
        print FILE_OUT2 encode('CP862', $line);
    }
    close (FILE_IN);
    close (FILE_OUT1);
    close (FILE_OUT2);
}

Как правильно сделать это преобразование?

6
  • Ссылку на исходный файл можно?
    – PinkTux
    16 ноя 2016 в 23:19
  • Да, конечно. Вот парочка, они однотипные - yadi.sk/d/-Wag8nNhyoGp4
    – Artem
    16 ноя 2016 в 23:34
  • Первый файл хотя и имеет метку UTF-8 в начале (EF BB BF), но в действительности мало похож на него. Каждый второй байт нулевой. Это очень странно. Второй файл (ini.txt) имеет метку UTF-16 (LE), но опять же - каждый второй символ (пара байтов) нулевой. Описание меток en.wikipedia.org/wiki/Byte_order_mark
    – Visman
    17 ноя 2016 в 2:49
  • У вас в начале обоих файлов BOM обозначающий UTF-8. но данные больше всего похожи на UTF-16BE
    – Mike
    17 ноя 2016 в 7:26
  • И что можно в таком случае сделать?
    – Artem
    17 ноя 2016 в 12:37

1 ответ 1

0

В итоге сделал через Bash:

tail -c +4 "$filename" | iconv -f utf-16be -t ISO-8859-8 -o "$newfilename1"
tail -c +4 "$filename" | iconv -f utf-16be -t CP862 -o "$newfilename2"

Убираю первые 3 байта BOM и перевожу из UTF16BE в нужную кодировку.

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими пользовательским соглашением, политикой конфиденциальности и политикой о куки

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.