7
data = "Hello".encode("utf-8") # перевод в байты

не могу разобраться в байтах... как бы я не старался, Python мне выдает b'Hello'... как мне получить исходные байты этой строки?

Если попробовать с кириллицей, то все получается:

data = "Привет".encode("utf-8") # b'\xd0\x9f\xd1\x80\xd0\xb8\xd0\xb2\xd0\xb5\xd1\x82'

или я не имею представления о байтах? объясните пожалуйста

4
  • 1
    Ну вот Hello это и есть байты, а \xNN это шестнадцеричные коды этих байтов. так что для их получения надо использовать функции получающие эти коды, во многих языках такая функция зовется ord, как в питоне хз, Собственно запрос гуглу "python ord" дает пищу для размышлений. А encode судя по названию просто кодирует в \xNN символы которые необходимо кодировать, а латинские символы такими не являются.
    – Mike
    23 фев 2016 в 20:04
  • @Mike : data уже имеет тип bytes, который в Питоне является неизменяемой последовательностью байтов: data[0] это первый байт (72 == 0x48 обычное целое число как правило в диапазоне 0..255 (октет)). b'Hello' — это просто синтаксис для констант типа bytes, который можно в исходном коде использовать и совпадает с текстовым представлением (eval(repr(data)) == data). ASCII символы могут быть использованы в bytes-константах, чтобы представить соответсвующие байты b'\x48\x65' == b'He'.
    – jfs
    25 фев 2016 в 19:16
  • @jfs Тогда я не понимаю почему ТС не воспользуется обычной ротацией которая у него и так написана
    – Mike
    25 фев 2016 в 19:32
  • @Mike: s/ротацией/нотацией/. OP поэтому и спросил: «или не имею представления о байтах». data уже является байтами—ничего не нужно дальше делать. Байты это настолько фундаментальная абстракция, что тяжело сперва понять, что они являются обычными объектами как и всё остальное в Питоне. See How to open and present raw binary data in Python?
    – jfs
    25 фев 2016 в 19:52

2 ответа 2

6

Как b'Hello' так и b'\xd0\x9f\xd1\x80...' принадлежат к одному типу bytes.

b'Hello' == b'\x48\x65\x6c\x6c\x6f'. Байты, которые соответствуют печатаемым ascii символам (0x20..0x7e), по умолчанию показаны как эти символы в текстовом представлении repr(data) -- синтаксис, используемый для bytes-конcтант в исходном коде Питона (eval(repr(data)) == data).

Использование символов для некоторых байтов вместо шестнадцатеричных кодов может вводить в заблуждение (как в этом случае). Легко получить hexdump, если необходимо:

>>> b'Hello'.hex()
'48656c6c6f'

Мотивация по использованию b'Hello' вместо b'\x48\x65\x6c\x6c\x6f' могла быть связана с тем, что многие популярные протоколы такие как HTTP свободно смешивают текст (закодированный в ascii-совместимой кодировке) и двоичные данные. Поэтому использование символов вместо hex-кодов может помочь при отладке.

Недостаток использования b'Hello' вместо b'\x48\x65\x6c\x6c\x6f' состоит в том что люди смешивают понятия текста (Юникодные строки) и двоичных данных (байтов), что ведёт к путанице и в итоге мусору (кракозябрам) в результатах. Что было особенно остро на Питоне 2, где str = bytes. See Stop displaying elements of bytes objects as printable ASCII characters in CPython 3 [python-ideas mailing list (2014)].

Без явного указания кодировки, последовательность байтов (bytes объект) является просто набором чисел. Последовательность байтов становится текстом только, если байты декодированы, используя подходящую кодировку:

unicode_text = bytestring.decode(character_encoding)
0

Попробуйте это. Функция ord вернет значение символа в десятеричном коде:

text = "Hello world!"
[(c, ord(c), hex(ord(c))) for c in text]

Результат:

[('H', 72, '0x48'), ('e', 101, '0x65'), ('l', 108, '0x6c'), 
('l', 108, '0x6c'), ('o', 111, '0x6f'), (' ', 32, '0x20'), 
('w', 119, '0x77'), ('o', 111, '0x6f'), ('r', 114, '0x72'), 
('l', 108, '0x6c'), ('d', 100, '0x64'), ('!', 33, '0x21')]
3
  • Ответ только запутывает. Автор вопроса использует Питон 3. text в вашем примере является Юникодной строкой в Питон 3 — последовательностью Юникодных символов (Unicode codepoints). ord(c) возвращает номер символа. Исторически первые Юникодные символы упорядочены также как в ASCII (по дизайну) поэтому номера совпадают с соответствующими байтами. bytes уже является последовательностью байтов (int) — не нужно ord() вызывать.
    – jfs
    25 фев 2016 в 19:36
  • Так list(map(int, 'вася'.encode()))?
    – gil9red
    25 фев 2016 в 20:48
  • нет. "bytes уже является последовательностью байтов (int)". Ничего не нужно вызывать, например, b = data[i] или for b in data работают как есть.
    – jfs
    25 фев 2016 в 20:56

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.