4

Что такое метаклассы в Python и для чего нужно их использовать?

перевод вопроса What are metaclasses in Python? участника @e-satis

1

1 ответ 1

5

Классы как объекты

Прежде чем разбираться в метаклассах, нужно пройти мастер-классы по Python. Python имеет очень своеобразное представление о том, что такое классы, заимствованное из языка Smalltalk.

В большинстве языков класс - это просто фрагменты кода, которые описывают, как создать объект. Это отчасти верно и в Python:

>>> class ObjectCreator(object):
...       pass
...

>>> my_object = ObjectCreator()
>>> print(my_object)
<__main__.ObjectCreator object at 0x8974f2c> 

Но в Python классы это нечто большее. Классы это тоже объекты.

Да, объекты.

Как только вы используете ключевое слово class, Python выполняет его и создает объект. Данные создаст в памяти объект с именем «ObjectCreator».

>>> class ObjectCreator(object):
...       pass
...

Этот объект (класс) сам по себе может создавать объекты (экземпляры), и поэтому он является классом.

Но все же это объект, а значит

  • Вы можете присвоить его переменной
  • Вы можете скопировать его
  • Вы можете добавить к нему атрибуты
  • Вы можете передать его как параметр функции

например:

>>> print(ObjectCreator) # Вы можете распечатать класс, потому что это объект
<class '__main__.ObjectCreator'>
>>> def echo(o):
...       print(o)
...
>>> echo(ObjectCreator) # Вы можете передать класс в качестве параметра
<class '__main__.ObjectCreator'>
>>> print(hasattr(ObjectCreator, 'new_attribute'))
False
>>> ObjectCreator.new_attribute = 'foo' # Вы можете добавлять атрибуты в класс
>>> print(hasattr(ObjectCreator, 'new_attribute'))
True
>>> print(ObjectCreator.new_attribute)
foo
>>> ObjectCreatorMirror = ObjectCreator # Вы можете назначить класс переменной
>>> print(ObjectCreatorMirror.new_attribute)
foo

Динамическое создание классов

Поскольку классы являются объектами, вы можете создавать их на лету, как и любой объект.

Во-первых, вы можете создать класс в функции, используя class

>>> def choose_class(name):
...     if name == 'foo':
...         class Foo(object):
...             pass
...         return Foo # вернуть класс, а не экземпляр
...     else:
...         class Bar(object):
...             pass
...         return Bar
...
>>> MyClass = choose_class('foo')
>>> print(MyClass) # функция возвращает класс, а не экземпляр
<class '__main__.Foo'>
>>> print(MyClass()) # вы можете из этого создать объект
<__main__.Foo object at 0x89c6d4c>

Но это не так динамично, так как вам все равно придется писать весь класс самостоятельно.

Поскольку классы являются объектами, они должны быть созданы чем-то.

Когда вы используете ключевое слово class, Python создает этот объект автоматически. Но, как и в большинстве случаев в Python, он позволяет делать это вручную.

Помните функцию type? Старая добрая функция, которая позволяет узнать, к какому типу относится объект:

>>> print(type(1))
<type 'int'>

>>> print(type("1"))
<type 'str'>

>>> print(type(ObjectCreator))
<type 'type'>

>>> print(type(ObjectCreator()))
<class '__main__.ObjectCreator'>

Что ж, у type есть совершенно другие возможности, он также может создавать классы на лету. type может принимать описание класса как параметры и возвращать класс

(Я знаю, глупо, что одна и та же функция может иметь два совершенно разных использования в зависимости от параметров, которые вы ей передаете. Это проблема из-за обратной совместимости в Python)

type работает следующим образом:

type(name, bases, attrs)

Где:

  • name: название класса
  • base: кортеж родительских классов для наследования (может быть пустым)
  • attrs: словарь, содержащий имена и значения атрибутов

пример:

>>> class MyShinyClass(object):
...       pass

можно создать вручную следующим образом:

>>> MyShinyClass = type('MyShinyClass', (), {}) # returns a class object
>>> print(MyShinyClass)
<class '__main__.MyShinyClass'>
>>> print(MyShinyClass()) # создать экземпляр из класса
<__main__.MyShinyClass object at 0x8997cec> 

Вы заметите, что мы используем «MyShinyClass» как имя класса и как переменную для хранения ссылки на класс. Они могут быть разными, но нет причин усложнять ситуацию.

type принимает словарь для определения атрибутов класса

>>> class Foo(object):
...       bar = True

Можно превратить в:

>>> Foo = type('Foo', (), {'bar':True})

И использовать как обычный класс:

>>> print(Foo)
<class '__main__.Foo'>
>>> print(Foo.bar)
True
>>> f = Foo()
>>> print(f)
<__main__.Foo object at 0x8a9b84c>
>>> print(f.bar)
True

И, конечно, вы можете наследовать от него:

>>>   class FooChild(Foo):
...         pass

либо

>>> FooChild = type('FooChild', (Foo,), {})
>>> print(FooChild)
<class '__main__.FooChild'>
>>> print(FooChild.bar) # bar унаследован от Foo
True 

В конце концов, вы захотите добавить методы в свой класс. Просто определите функцию с соответствующей сигнатурой и назначьте ее как атрибут.

>>> def echo_bar(self):
...       print(self.bar)
...
>>> FooChild = type('FooChild', (Foo,), {'echo_bar': echo_bar})
>>> hasattr(Foo, 'echo_bar')
False
>>> hasattr(FooChild, 'echo_bar')
True
>>> my_foo = FooChild()
>>> my_foo.echo_bar()
True

После динамического создания класса вы можете добавить еще больше методов, точно так же, как добавление методов к нормально созданному объекту класса

>>> def echo_bar_more(self):
...       print('yet another method')
...
>>> FooChild.echo_bar_more = echo_bar_more
>>> hasattr(FooChild, 'echo_bar_more')
True 

Вы видите, к чему мы идем: в Python классы - это объекты, и вы можете создавать классы на лету, динамически.

Это то, что делает Python, когда вы используете ключевое слово class, и он это делает с помощью метаклассов

Что такое метаклассы

Метаклассы - это «материал», который создает классы.

Вы определяете классы для создания объектов, верно?

Но мы узнали, что классы Python - это объекты.

Что ж, метаклассы создают эти объекты. Это классы классов, вы можете изобразить их так:

MyClass = MetaClass()
my_object = MyClass()

Вы видели, что type позволяет делать что-то вроде этого:

MyClass = type('MyClass', (), {})

Это потому, что функция type на самом деле является метаклассом. type - это метакласс, который Python использует для создания всех классов за кулисами.

Теперь вы задаетесь вопросом, какого черта это написано строчными буквами, а не Type?

Что ж, я думаю, это вопрос согласованности с str, классом, который создает строковые объекты, и int с классом, который создает целочисленные объекты. type - это просто класс, который создает объекты класса.

Вы увидите это, проверив атрибут __class__.

Все, абсолютно все, в Python является объектом. Сюда входят целые числа, строки, функции и классы. Все они объекты. И все они созданы из класса:

>>> age = 35
>>> age.__class__
<type 'int'>

>>> name = 'bob'
>>> name.__class__
<type 'str'>

>>> def foo(): pass
>>> foo.__class__
<type 'function'>

>>> class Bar(object): pass
>>> b = Bar()
>>> b.__class__
<class '__main__.Bar'> 

Теперь, что такое __class__ у любого __class__?

>>> age.__class__.__class__
<type 'type'>
>>> name.__class__.__class__
<type 'type'>
>>> foo.__class__.__class__
<type 'type'>
>>> b.__class__.__class__
<type 'type'>

Итак, метакласс - это просто материал, который создает объекты класса.

Если хотите, можете назвать это «фабрикой классов».

type - это встроенный метакласс, который использует Python, но, конечно, вы можете создать свой собственный метакласс.

Атрибут metaclass

Метаклассы в Python 2

В Python 2 вы можете добавить атрибут __metaclass__ при написании класса (синтаксис Python 3 см. В следующем разделе):

class Foo(object):
    __metaclass__ = something... # Что-нибудь
    [...] 

Если вы это сделаете, Python будет использовать метакласс для создания класса Foo.

Осторожно, это сложно.

Сначала вы пишете class Foo(object), но объект класса Foo еще не создан в памяти.

Python будет искать __metaclass__ в определении класса. Если он его найдет, он будет использовать его для создания класса объекта Foo. Если это не так, он будет использовать type для создания класса.

Прочтите это несколько раз

Когда вы сделаете это:

class Foo(Bar):
    pass 

Python делает следующее:

Есть ли в Foo атрибут __metaclass__?

Если да, создайте в памяти объект класса с именем Foo, используя то, что находится в __metaclass__.

Если Python не может найти __metaclass__, он будет искать __metaclass__ на уровне MODULE и пытаться сделать то же самое (но только для классов, которые ничего не наследуют, в основном классов старого стиля).

Затем, если он вообще не может найти какой-либо __metaclass__, он будет использовать собственный метакласс Bar (первого родителя который может быть по умолчанию type) для создания объекта класса.

Будьте осторожны: атрибут __metaclass__ не будет унаследован, а метакласс родительского элемента (Bar.__class__) будет. Если Bar использовал атрибут __metaclass__, который создал Bar с type() (а не type.__new__()), подклассы не унаследуют это поведение

Теперь главный вопрос: что можно добавить в __metaclass__?

Ответ - то, что может создать класс.

А что может создать класс? type или что-либо, что его подклассы используют

Метаклассы в Python 3

Синтаксис для установки метакласса был изменен в Python 3:

class Foo(object, metaclass=something):
    ... 

Т.е. атрибут __metaclass__ больше не используется, а был превращен в аргумент в списке родительских классов

Однако поведение метаклассов в основном остается неизменным.

Одна вещь, добавленная к метаклассам в Python 3, заключается в том, что вы также можете передавать атрибуты как ключевые слова-аргументы в метакласс, например:

class Foo(object, metaclass=something, kwarg1=value1, kwarg2=value2):
    ... 

Прочтите раздел ниже, чтобы узнать, как Python справляется с этим.

Пользовательские метаклассы

Основная цель метакласса, автоматически изменять класс при его создании.

Обычно вы делаете это для API, где хотите создавать классы, соответствующие текущему контексту.

Представьте себе глупый пример, в котором вы решили, что атрибуты всех классов в вашем модуле должны быть написаны в верхнем регистре. Есть несколько способов сделать это, но один из них - установить __metaclass__ на уровне модуля.

Таким образом, все классы этого модуля будут созданы с использованием этого метакласса, и нам просто нужно указать метаклассу перевести все атрибуты в верхний регистр.

К счастью, __metaclass__ на самом деле может быть любым вызываемым объектом, он не обязательно должен быть формальным классом (я знаю, что что-то с «class» в его имени не обязательно должно быть классом, поймите… это полезно).

Итак, мы начнем с простого примера, используя функцию.

# метаклассу автоматически передаются те же аргументы
# которые вы обычно передаете в `type`
def upper_attr(future_class_name, future_class_parents, future_class_attrs):
    """
       Вернётся объект класса со списком его атрибутов
       в верхнем регистре.
    """
    # выберим все атрибуты, которые не начинается с '__'
    # и поставим их в верхний регистр
    uppercase_attrs = {
        attr if attr.startswith("__") else attr.upper(): v
        for attr, v in future_class_attrs.items()
    }

    # пусть `type` создаст класс
    return type(future_class_name, future_class_parents, uppercase_attrs)

__metaclass__ = upper_attr # это повлияет на все классы в модуле

class Foo(): # __metaclass__ не будет работать с «объектом»
    # но мы можем определить здесь __metaclass__, чтобы воздействовать только на этот класс
    # и это будет работать с дочерними элементами «объекта» 
    bar = 'bip'

Давайте проверим:

>>> hasattr(Foo, 'bar')
False
>>> hasattr(Foo, 'BAR')
True
>>> Foo.BAR
'bip'

Теперь сделаем то же самое, но с использованием реального класса для метакласса:

# помните, что `type` на самом деле является классом вроде `str` и `int`
# так что вы можете унаследовать от него
class UpperAttrMetaclass(type):
    # __new__ - это метод, вызываемый до __init__
    # это метод, который создает объект и возвращает его
    # в то время как __init__ просто инициализирует объект, переданный как параметр
    # вы редко используете __new__, за исключением случаев
    # когда вы хотите контролировать, как объект создаётся 
    # здесь созданный объект - это класс, и мы хотим его настроить
    # поэтому мы переопределяем __new__
    # вы можете делать кое-что и в __init__, если хотите
    # при продвинутом использовании нужно также переопределить __call__, но мы не будем делать это
    def __new__(upperattr_metaclass, future_class_name,
                future_class_parents, future_class_attrs):
        uppercase_attrs = {
            attr if attr.startswith("__") else attr.upper(): v
            for attr, v in future_class_attrs.items()
        }
        return type(future_class_name, future_class_parents, uppercase_attrs)

Давайте перепишем приведенное выше, но с более короткими и более реалистичными именами переменных, теперь, когда мы знаем, что они означают:

class UpperAttrMetaclass(type):
    def __new__(cls, clsname, bases, attrs):
        uppercase_attrs = {
            attr if attr.startswith("__") else attr.upper(): v
            for attr, v in attrs.items()
        }
        return type(clsname, bases, uppercase_attrs) 

Возможно, вы заметили дополнительный аргумент cls. В этом нет ничего особенного: __new__ всегда получает класс, в котором он определен, в качестве первого параметра. Точно так же, как у вас есть self для обычных методов, которые получают экземпляр в качестве первого параметра, или определяющий класс для методов класса.

Но это неправильное ООП. Мы вызываем type напрямую и не переопределяем и не вызываем родительский __new__.

class UpperAttrMetaclass(type):
    def __new__(cls, clsname, bases, attrs):
        uppercase_attrs = {
            attr if attr.startswith("__") else attr.upper(): v
            for attr, v in attrs.items()
        }
        return type.__new__(cls, clsname, bases, uppercase_attrs)

Мы можем сделать его еще чище, используя super, который упростит наследование (потому что, у вас могут быть метаклассы которые наследуются от метаклассов):

class UpperAttrMetaclass(type):
    def __new__(cls, clsname, bases, attrs):
        uppercase_attrs = {
            attr if attr.startswith("__") else attr.upper(): v
            for attr, v in attrs.items()
        }
        return super(UpperAttrMetaclass, cls).__new__(
            cls, clsname, bases, uppercase_attrs)

Вот и все. Больше в метаклассах больше ничего нет.

Причина сложности кода с использованием метаклассов заключается не в метаклассах, а в том, что вы обычно используете метаклассы для выполнения извращенных вещей, основанных на интроспекции, манипулировании наследованием, переменными, такими как __dict__ и т.д.

В самом деле, метаклассы особенно полезны для черной магии и, следовательно, для сложных вещей. Но сами по себе они просты:

  • Перехватить создание класса
  • Изменить класс
  • Вернуть измененный класс

Зачем для метаклассов использовать классы, а не функций?

Поскольку metaclass может принимать любые вызываемые объекты, зачем использовать класс, если он явно более сложен?

Для этого есть несколько причин:

  • Ясные намерение. Когда вы читаете UpperAttrMetaclass(type), вы знаете, что будет дальше

  • Вы можете использовать ООП. Метакласс может наследоватся от метакласса, переопределять родительские методы. Метаклассы могут даже использовать метаклассы.

  • Подклассы класса будут экземплярами его метакласса, если вы укажите метакласс с помощью класса, а не с помощью функции.

  • Вы можете лучше структурировать свой код. Вы никогда не используете метаклассы для чего-то столь же тривиального, как приведенный выше пример. Обычно это для чего-то сложного. Возможность создавать несколько методов и группировать их в один класс очень полезно для облегчения чтения кода.

  • Вы можете подключиться к __new__, __init__ и __call__. Это позволит вам делать разные вещи. Даже если обычно вы можете делать все это в __new__, некоторым людям просто удобнее использовать __init__.

  • Они называются метаклассами, черт возьми! Это должно что-то значить!

Зачем использовать метаклассы?

А теперь большой вопрос. Зачем использовать какую-то непонятную функцию, подверженную ошибкам?

Ну, обычно вы этого не делаете:

Метаклассы - это более глубокая магия, и 99% пользователей не должны беспокоиться об этом. Если вы задаетесь вопросом, нужны ли они вам, то нет (люди, которым они действительно нужны, чтобы точно знать, что они им нужны, и не нуждаются в объяснении почему).

Python гуру Tim Peters.

Основной вариант использования метакласса - создание API. Типичным примером этого является Django ORM. Это позволяет вам определить что-то вроде этого:

class Person(models.Model):
    name = models.CharField(max_length=30)
    age = models.IntegerField() 

Но если вы сделаете это:

person = Person(name='bob', age='35')
print(person.age)

Он не вернет объект IntegerField. Он вернет int и даже может взять его прямо из базы данных.

Это возможно, потому что models.Model определяет __metaclass__ и использует некоторую магию, которая превратит Person, которую вы только что определили с помощью простых операторов, в сложный крючок для поля базы данных.

Django делает что-то сложное простым, предоставляя простой API и используя метаклассы, воссоздавая код из этого API, чтобы делать реальную работу за кулисами.

Последнее слово

Во-первых, вы знаете, что классы - это объекты, которые могут создавать экземпляры.

На самом деле классы сами по себе являются экземплярами метаклассов.

>>> class Foo(object): pass
>>> id(Foo)
142630324

В Python все является объектом, и все они являются экземплярами классов или экземплярами метаклассов.

Кроме type

type на самом деле является отдельным метаклассом. Это не то, что вы могли бы воспроизвести на чистом Python, это делается путем небольшого мошенничества на уровне реализации.

Во-вторых, метаклассы сложны. Возможно, вы не захотите использовать их для очень простых изменений класса. Вы можете менять классы, используя два разных методы:

В 99% случаев, когда вам нужно изменить класс, вам лучше использовать их.

Но в 98% случаев вам вообще не нужно менять класс.

перевод ответа от участника @e-satis

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.