0

Как в генераторе можно сохранить стейт из предыдущего вызова, чтобы гарантировать уникальность со стороны кода? Чтобы при его сохранении, делался запрос, проверял нет ли у такого слова, если есть, то делает запрос ещё раз? Как это можно реализовать?

import requests
import json

URL = 'https://random-word-api.herokuapp.com/word?number='


def get_words(num: int) -> str:
    response = requests.get(URL + str(num)).text
    if num >= 10_000:
        raise StopIteration("Max generation of words = 10_000")
    else:
        yield from json.loads(response)


if __name__ == "__main__":
    for i in get_words(10):
        print(i)
1
  • что мешает сделать из response set, например?
    – strawdog
    3 окт 2022 в 11:28

1 ответ 1

1

Я сделал. Но вообще-то проверки показывают, что:

  • сервис действительно каждый раз выдаёт список уникальных слов
  • всего слов у него 178187, большее количество запрашивать без толку хоть порциями, хоть как.

Поэтому я подумал, что задача в том, чтобы сохранить уникальность при вызове метода несколько раз. Тогда да, слова могут пересекаться и код будет такой:

import requests
import json

URL = 'https://random-word-api.herokuapp.com/word?number='


def get_words(num: int, unique_words: set) -> str:
    if num >= 10_000:
        raise StopIteration("Max generation of words = 10_000")
    else:
        count = 0
        while count < num:
            portion = num - count
            print(f'Слов уже получено: {count}, запрашивается ещё: {portion}')
            response = requests.get(f'{URL}{portion}').text
            words = json.loads(response)
            for word in words:
                if not word in unique_words:
                    yield word
                    unique_words.update([word])
                    count += 1

if __name__ == "__main__":
    unique_words = set()
    words = []
    for _ in range(5):
        for i in get_words(9_999, unique_words):
            words.append(i)
        print('-' * 45)
    print(f'Получено уникальных слов: {len(set(words))}, должно было получиться: {5 * 9_999}')

Пример вывода:

Слов уже получено: 0, запрашивается ещё: 9999
---------------------------------------------
Слов уже получено: 0, запрашивается ещё: 9999
Слов уже получено: 9476, запрашивается ещё: 523
Слов уже получено: 9940, запрашивается ещё: 59
Слов уже получено: 9991, запрашивается ещё: 8
Слов уже получено: 9998, запрашивается ещё: 1
---------------------------------------------
Слов уже получено: 0, запрашивается ещё: 9999
Слов уже получено: 8966, запрашивается ещё: 1033
Слов уже получено: 9807, запрашивается ещё: 192
Слов уже получено: 9964, запрашивается ещё: 35
Слов уже получено: 9992, запрашивается ещё: 7
Слов уже получено: 9998, запрашивается ещё: 1
Слов уже получено: 9998, запрашивается ещё: 1
---------------------------------------------
Слов уже получено: 0, запрашивается ещё: 9999
Слов уже получено: 8290, запрашивается ещё: 1709
Слов уже получено: 9637, запрашивается ещё: 362
Слов уже получено: 9910, запрашивается ещё: 89
Слов уже получено: 9979, запрашивается ещё: 20
Слов уже получено: 9995, запрашивается ещё: 4
Слов уже получено: 9998, запрашивается ещё: 1
---------------------------------------------
Слов уже получено: 0, запрашивается ещё: 9999
Слов уже получено: 7801, запрашивается ещё: 2198
Слов уже получено: 9400, запрашивается ещё: 599
Слов уже получено: 9824, запрашивается ещё: 175
Слов уже получено: 9950, запрашивается ещё: 49
Слов уже получено: 9991, запрашивается ещё: 8
Слов уже получено: 9996, запрашивается ещё: 3
---------------------------------------------
Получено уникальных слов: 49995, должно было получиться: 49995

Чтобы дёргать сервис не очень часто, можно запрашивать слова сразу "с запасом", для этого можно увеличить значение portion, используемое в запросе, например, на 20:

response = requests.get(f'{URL}{int(portion + 20)}').text

Но в этом случае придётся делать и дополнительную проверку, чтобы лишние слова не попали в выдачу:

            for word in words:
                    ...
                    count += 1
                    if count >= num:
                        break

Обращений к сервису станет меньше по количеству, не нужно будет дёргать его ради одного слова по нескольку раз:

Слов уже получено: 0, запрашивается ещё: 9999
---------------------------------------------
Слов уже получено: 0, запрашивается ещё: 9999
Слов уже получено: 9437, запрашивается ещё: 562
Слов уже получено: 9949, запрашивается ещё: 50
---------------------------------------------
Слов уже получено: 0, запрашивается ещё: 9999
Слов уже получено: 8895, запрашивается ещё: 1104
Слов уже получено: 9832, запрашивается ещё: 167
Слов уже получено: 9984, запрашивается ещё: 15
---------------------------------------------
Слов уже получено: 0, запрашивается ещё: 9999
Слов уже получено: 8352, запрашивается ещё: 1647
Слов уже получено: 9675, запрашивается ещё: 324
Слов уже получено: 9964, запрашивается ещё: 35
---------------------------------------------
Слов уже получено: 0, запрашивается ещё: 9999
Слов уже получено: 7746, запрашивается ещё: 2253
Слов уже получено: 9431, запрашивается ещё: 568
Слов уже получено: 9848, запрашивается ещё: 151
Слов уже получено: 9957, запрашивается ещё: 42
---------------------------------------------
Получено уникальных слов: 49995, должно было получиться: 49995

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.