Вопрос объемный, но так как он пользуется популярностью, я немного коснусь этой темы для одной выбранной реализации и одной выбранной версии - CPython 3.6.1
- эта версия, потому что она последняя и ответ устареет позднее, и потому что в вопросе явно указана версия 3.5.
В общем-то в последних версиях довольно легко разобраться, что к чему - нет никаких сложностей, которые могут сорвать вам колпак. Исходной точкой будет модуль py_compile. Почему с нее, а не с C исходников? - потому что вот что говорит документация о нем: Этот модуль предоставляет функцию для генерации байт-кода из исходников
. То, что доктор прописал.
Также заранее напишем тестовый пример, который и будет подвергнут разбору и определим его в отдельный файл test.py
.
Теперь самое время обратить внимание на функцию, которая и сгенерировала байткод. Исходники вы можете посмотреть самостоятельно, я приведу краткую выдержку:
Первое, что там происходит - это определение пути и имени для выходного байткода. Мы указали это явно. Если нет, то путь определяется согласно PEP 3147/PEP 488 и еще и от версии зависит.
Исходник в виде текста преобразуется в байты. За это отвечает еще модуль - importlib
, а точнее класс importlib.machinery.SourceFileLoader
. Внезапно, весь код, который там выполняется - это
with _io.FileIO(path, 'r') as file:
return file.read()
то есть исходник просто читается. В нашем коде это выглядит как:
loader = importlib.machinery.SourceFileLoader('<py_compile>', file)
source_bytes = loader.get_data(file)
Исходники преобразовываются в AST - Абстрактное Синтаксическое Дерево. Невозможно тут написать, какой путь проходит исходник через череду всяких функций и проверок, но вкратце: вызывается функция compile:
code1 = compile(source_bytes, file, mode='exec', dont_inherit=True)
code = loader.source_to_code(source_bytes, file)
print(code, type(code))
print(code == code1)
Выше в коде я копировал их исходников py_compile
(loader.source_to_code
) и написал сам с использованием функции compile
- результат в простом случае одинаков. Результатом явился экземпляр класса из модуля code
.
Наконец, самое главное - преобразование AST в байткод. В py_compile это делается так:
source_stats = loader.path_stats(file)
bytecode = importlib._bootstrap_external._code_to_bytecode(
code, source_stats['mtime'], source_stats['size'])
sourcestats
выглядит как-то так: {'mtime': 1493229661.7715623, 'size': 180}
. mtime
- это время изменения исходника, выраженное в каком-то особоточном timestamp'е. Пригодится еще далее.
Содержание code_to_bytecode
:
data = bytearray(MAGIC_NUMBER)
data.extend(_w_long(mtime))
data.extend(_w_long(source_size))
data.extend(marshal.dumps(code))
Я был удивлен, но само преобразование в байткод занимает в общем-то 4 строчки. MAGIC_NUMBER
- волшебное словцо, новое для каждой новой версии. Для 3.6.1 (Python 3.6rc1) - это (3379).to_bytes(2, 'little') + b'\r\n'
. Список всех волшебных словец можно найти в файле importlib/_bootstrap_external.py
. Обратите внимание, что помимо числа туда еще засовывается перевод каретки. Функция _w_long
- это (int(x) & 0xFFFFFFFF).to_bytes(4, 'little')
. - можно проверить HEX редактором фактическое содержание .pyc файла - все совпадает. То есть сам код начинается после 2 + 2 + 4 + 4
байтов. Это все мелочи, настоящая цель - модуль marshal и функция dumps. marshal
- это модуль, содержащий функции, которые могут читать и писать значение переменных в бинарном формате. Формате специфичен для Python, но независим от архитектуры конечной машины
.
Дальше, к сожалению, на питоне ехать не получиться, придется идти в исходники исходников: можно проследить за судьбой объекта в marshal.dumps
, но в конечном итоге объект бьется на байты вот этой функцией. Она длинная, но относительно простая. Маршал может много всяких объектов засунуть в файл, но нас интересует объект типа code
(его ему передали) - для этого есть специальная проверка на то, не является ли переданный объект кодом. Как видно из этой функции, безусловно пишется много какой информации - тип операции (op_code), аргументы, значения аргументов самые простые из этого списка. Что конкретно означают эти переменные, можно посмотреть (там комментов навалили сполна) в определении структуры PyCodeObject в файле code.h
Еще, в общем-то, не все. Все только начинается. Мы можем посмотреть, ЧТО КОНКРЕТНО, по байтам, пишется в pyc файл и не придется лазить в C. Дело в том, что все нужные аттрибуты есть у питоновского объекта code
. Я расположил аргументы в том порядке, в каком они пишутся в pyc:
args = ['co_argcount', 'co_kwonlyargcount', 'co_nlocals', 'co_stacksize', 'co_flags', 'co_code', 'co_consts',
'co_names', 'co_varnames', 'co_freevars', 'co_cellvars', 'co_filename', 'co_name', 'co_firstlineno',
'co_lnotab']
for arg in args:
print(arg, getattr(code, arg, None))
Распечатав на экране значение аргументов, а также посчитав смещения (1 вызов w_long
пишет 4 байта, W_TYPE
пишет 1 байт) вы можете с легкостью, с помощью HEX редактора посмотреть что и куда пишется. Проанализировать co_code вы уже можете с помощью dis - в новых версиях у него появился козырный метод get_instructions:
for instruction in dis.get_instructions(code):
print(instruction)
В нем также есть и байтовое смещение, и код операнда и все, что может понадобиться.
Для закрепления прочитанного можно своими руками полностью раскукожить pyc
файл. Не буду писать весь парсер - дюже затратно, но из того, что написано уже можно написать парсер полностью:
from io import BytesIO
import struct
import datetime
byte1_little = b"<c"
byte2_little = b"<h"
byte4_little = b"<I"
byte1_big = b">c"
byte2_big = b">h"
byte4_big = b">I"
INTEGER_TYPE = int.from_bytes(b'i', 'little')
CODE_TYPE = int.from_bytes(b'c', 'little')
SHORT_TUPLE_TYPE = int.from_bytes(b')', 'little')
NONE_TYPE = int.from_bytes(b'N', 'little')
def parse_string(raw_bytes):
# Наш рулевой тут - https://github.com/python/cpython/blob/3.6/Python/marshal.c#L427
# Байтик на тип, четверочку на размер
SIZE = int.from_bytes(raw_bytes.read(4), 'little')
print("BYTES TO READ: ", SIZE)
s = raw_bytes.read(SIZE)
return s
def parse_code(raw_bytes):
CO_ARGCOUNT = struct.unpack(byte4_little, raw_bytes.read(4))[0]
co_kwonlyargcount = struct.unpack(byte4_little, raw_bytes.read(4))[0]
CO_NLOCALS = struct.unpack(byte4_little, raw_bytes.read(4))[0]
CO_STACKSIZE = struct.unpack(byte4_little, raw_bytes.read(4))[0]
CO_FLAGS = struct.unpack(byte4_little, raw_bytes.read(4))[0]
print("CODE STATS:", CO_ARGCOUNT, co_kwonlyargcount, CO_NLOCALS, CO_STACKSIZE, CO_FLAGS)
CODE_TYPE = raw_bytes.read(1)
# Тип строка
assert CODE_TYPE == b's'
CODE_ITSELF = parse_string(raw_bytes)
return CODE_ITSELF
def parse_long(raw_bytes):
VALUE = int.from_bytes(raw_bytes.read(4), 'little')
print("LONG VALUE:", VALUE)
return VALUE
def parse_none(raw_bytes):
# Уже отпрасили
return None
def parse_tuple(raw_bytes):
# Размер у маленького - 1 байт, а не 4
# https://github.com/python/cpython/blob/3.6/Python/marshal.c#L471
SIZE = int.from_bytes(raw_bytes.read(1), 'little')
print("TUPLE LEN:", SIZE)
# Следующий тип - SHORT_TUPLE. Также по аналогии
for index in range(SIZE):
NEXT_TYPE = int.from_bytes(raw_bytes.read(1), 'little')
if NEXT_TYPE == INTEGER_TYPE or NEXT_TYPE == INTEGER_TYPE | 128:
print("LONG TYPE")
parse_long(raw_bytes)
# None 1 байт
elif NEXT_TYPE == NONE_TYPE:
print("NONE TYPE")
parse_none(raw_bytes)
# code
elif NEXT_TYPE == CODE_TYPE or NEXT_TYPE == CODE_TYPE | 128:
print("CODE TYPE")
parse_code(raw_bytes)
elif NEXT_TYPE == SHORT_TUPLE_TYPE:
parse_tuple(raw_bytes)
with open("test.pyc", "rb") as f:
raw_bytes = BytesIO(f.read())
MAGIC_NUMBER = struct.unpack(byte2_little, raw_bytes.read(2))[0]
assert MAGIC_NUMBER == 3379
# пропускаем \r\n
raw_bytes.read(2)
TIMESTAMP = struct.unpack(byte4_little, raw_bytes.read(4))[0]
print(datetime.datetime.fromtimestamp(TIMESTAMP))
SIZE = struct.unpack(byte4_little, raw_bytes.read(4))[0]
print(SIZE)
OBJ_TYPE = int.from_bytes(raw_bytes.read(1), 'little')
# Объект типа TYPE_CODE - см. https://github.com/python/cpython/blob/3.6/Python/marshal.c#L46
# Флаг 128 выставляется в функции https://github.com/python/cpython/blob/3.6/Python/marshal.c#L288
assert OBJ_TYPE == CODE_TYPE | 128
parse_code(raw_bytes)
NEXT_TYPE = int.from_bytes(raw_bytes.read(1), 'little')
# Small tuple
if NEXT_TYPE == SHORT_TUPLE_TYPE:
parse_tuple(raw_bytes)
Код несколько неполный, обрабатывается только несколько типов, но, надеюсь, сама идея понятна - этот код - зеркальное отражение функции dumps
- только там использовался w_object
(write object) и свои записывалки для простых типов, вам же нужно r_object
(read object) и читалки для простых. r_object уже написан, остается только его внимательно прочитать.
dis
(дизассемблер). Related: The structure of .pyc files. Можно также посмотреть какcodetransformer
работает с байткодом во время исполнения, сравнить как похожие вещиmacropy
делает с помощью манипуляции AST