0

Копаюсь в дандерах iter и next и решил написать свой класс, который при итерации возвращает свои атрибуты.
Самый первый пример, который мне пришёл в голову - это просто сбор всех атрибутов в отдельном листе и вывод их по одному:

class Test(): 
    def __init__(self, name, age): 
        self.name = name
        self.age = age

    def __iter__(self):
        self.index = -1
        self.list_q = [self.name, self.age]
        return self.list_q
        
    def __next__(self):
        index += 1
        yield self.list_q[self.index]
        
        
t = Test('Имя', 10)

for item in t:
    print(item)
    

Но при данном коде у меня получается ошибка:

Traceback (most recent call last):
  File "main.py", line 19, in <module>
    for item in t:
TypeError: iter() returned non-iterator of type 'list'

В чём проблема? Разве метод iter не должен возвращать итератор для перебора объектов? Разве лист не является таким итератором?

5
  • 3
    list - это не итератор, это итерируемый объект. Чтобы был итератор, нужно вернуть iter(self.list_q). Отличие итерируемого объекта от итератора в том, что у него __iter__ возвращает итератор, но у самого итерируемого объекта метод __next__ не реализован.
    – insolor
    Commented 27 мар. 2023 в 11:21
  • Разве цикл for самостоятельно не вызовет итератор объекта? Это же по сути обычный перебор листа
    – Dark Space
    Commented 27 мар. 2023 в 11:24
  • 2
    Цикл вызовет у объекта метод __iter__, из которого должен вернуться итератор. У итератора должен быть метод __next__, чтобы дальше получать значения из этого объекта. Но вы возвращаете список, у списка нет метода __next__, потому что он не итератор (буквально: попытка вызова __next__ от списка выдаст AttributeError). Python правда это отлавливает на более раннем этапе, и сразу человеческим языком пишет, что list - не итератор.
    – insolor
    Commented 27 мар. 2023 в 11:26
  • 1
    @insolor О, вот то, что у списка нет метода __next__ - это хорошее объяснение, это я и пропустил как-раз.
    – CrazyElf
    Commented 27 мар. 2023 в 11:27
  • 1
    Я всё понял, мужики. Большое спасибо вам и вашим семьям. Счастья-здоровья, здоровья-счастья!
    – Dark Space
    Commented 27 мар. 2023 в 11:32

2 ответа 2

2

Есть два разных понятия: итератор (iterator), итерируемый объект (iterable). У них есть схожие черты (и по тому, и по другому можно пройтись циклом), но есть большая разница.

С точки зрения реализации:

  • итерируемый объект должен реализовать метод __iter__, из которого должен возвращаться итератор (но не другой итерируемый объект). В идеале - при каждом вызове новый итератор.

  • итератор должен реализовывать и метод __iter__ (который должен возвращать сам объект (self)), и метод __next__, который при каждом вызове должен возвращать следующее значение из итератора (или выбрасывает исключение StopIteration).

Чисто технически, каждый итератор можно считать итерируемым объектом - у каждого итератора реализован __iter__ (который, правда, не создает новый итератор). Но не наоборот - не у каждого итерируемого объекта будет метод __next__. Поэтому и не работает возврат list из __iter__ - он является итерируемым объектом, но не итератором.

С точки зрения поведения:

  • После того как итератор создан, по нему можно пройти циклом (или, например, извлекать значения с помощью функции next) только один раз, при попытке пройти повторно итератор больше не возвращает никаких значений - так называемое исчерпание итератора (iterator exhaustion)

  • По итерируемому объекту (кроме итераторов) можно итерироваться много раз - его метод __iter__ каждый раз возвращает новый итератор.

    Хотя итератор формально (по наличию метода __iter__) можно считать итерируемым объектом, но __iter__ у него не создает новый итератор, а просто возвращает сам объект, по которому уже нельзя пройти повторно, если он исчерпан.

По вашему коду:

  • В принципе, если реализуете итератор, лучше не добавлять в __iter__ никакого кода, кроме return self, а всю инициализацию делать в __init__.
  • __next__ должен именно возвращать значения через return, а не через yield. Если добавляете в функцию yield, то она магически становится генератором, который возвращает итератор (generator iterator, частный случай итератора), а вам нужно ровно одно значение, а не новый итератор.

Таким образом, класс-итератор в идеале должен выглядеть так:

class Test(): 
    def __init__(self, name, age): 
        self.name = name
        self.age = age
        self.index = -1
        self.list_q = [self.name, self.age]

    def __iter__(self):
        return self
        
    def __next__(self):
        self.index += 1
        if self.index >= len(self.list_q):
            raise StopIteration
        return self.list_q[self.index]

Если вы реализуете итерируемый объект, то метод __next__ не нужен, но __iter__ должен вернуть итератор. Из списка можно получить итератор передав его в функцию iter:

class Test(): 
    def __init__(self, name, age): 
        self.name = name
        self.age = age
        self.list_q = [self.name, self.age]

    def __iter__(self):
        return iter(self.list_q)
        
        
t = Test('Имя', 10)

for item in t:
    print(item)

Либо можно использовать yield (как я уже писал выше, в этом случае функция превратится в генератор и будет возвращать итератор):

class Test(): 
    def __init__(self, name, age): 
        self.name = name
        self.age = age
        self.list_q = [self.name, self.age]

    def __iter__(self):
        for item in self.list_q:
            yield item
        
        
t = Test('Имя', 10)

for item in t:
    print(item)

Еще один способ - использовать выражение-генератор (generator expresson), оно также является итератором:

class Test(): 
    def __init__(self, name, age): 
        self.name = name
        self.age = age
        self.list_q = [self.name, self.age]

    def __iter__(self):
        return (item for item in self.list_q)
        
        
t = Test('Имя', 10)

for item in t:
    print(item)
2
  • 1
    Большое спасибо. Прояснили некоторые моменты про итераторы и итерируемые объекты
    – Dark Space
    Commented 27 мар. 2023 в 11:57
  • Да, я тоже для себя кое-что дополнительно прояснил )
    – CrazyElf
    Commented 27 мар. 2023 в 12:25
2

Ниже будет объяснение, почему возврат списка не работает, но в общем правильно будет из __iter__ возвращать self, ну и __next__ нужно переделать, у вас там сразу несколько ошибок:

class Test(): 
    def __init__(self, name, age): 
        self.name = name
        self.age = age

    def __iter__(self):
        self.index = -1
        self.list_q = [self.name, self.age]
        return self

    def __next__(self):
        self.index += 1
        if self.index < len(self.list_q):
            return self.list_q[self.index]
        raise StopIteration

t = Test('Имя', 10)

for item in t:
    print(item)

Если взять от списка итератор, то работать тоже будет, но управлять отдачей из него элементов вы уже не сможете, __next__ писать в вашем классе бесполезно в этом случае, будет использоваться __next__ от итератора списка, а не ваш:

class Test(): 
    def __init__(self, name, age): 
        self.name = name
        self.age = age

    def __iter__(self):
        self.list_q = [self.name, self.age]
        return iter(self.list_q)

t = Test('Имя', 10)

for item in t:
    print(item)

Как пояснил в комментариях insolor, возврат self как и возврат iter от списка работает, потому что питон проверяет, что у возвращаемого из метода __iter__ объекта существует метод __next__ и поэтому его можно использовать как итератор. А когда вы возвращаете просто список, то у него нет метода __next__, поэтому такая схема не работает.

12
  • 1
    @DarkSpace Я так понимаю, проблема в том, что он уже вызвал iter - у вашего класса. А у списка, который вы вернули, никто iter не вызвал.
    – CrazyElf
    Commented 27 мар. 2023 в 11:25
  • 1
    @DarkSpace yield нужен только в случае, если вы хотите вернуть несколько значений по очереди в одной какой-то логике при обращении к методу (например, в цикле внутри метода). Если вы возвращаете ровно одно значение, то нет разницы между yield и return.
    – CrazyElf
    Commented 27 мар. 2023 в 11:26
  • 1
    iterable и iterator в одном объекте - это очень плохо. Это работает пока у вас один цикл. Но если у вас несколько циклов по одному и тому же объекту - всё развалится. Пока вы разрабатываете и тестируете по простому, ошибка не видна. Если вы передадите ваш объект в itertools.product(..., repeat=2) - какая сказочная ждёт вас отладка! Commented 27 мар. 2023 в 12:29
  • 2
    iterable.iter всегда должен возвращать новый объект. iterator.iter всегда возвращает сам себя. Их нельзя совместить в принципе. Commented 27 мар. 2023 в 12:31
  • 1
    @CrazyElf, ну раз хозяин ответа сказал, то тогда надо)
    – Dark Space
    Commented 27 мар. 2023 в 12:58

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.