0

Подскажите почему не работает @lru_cache (из functools) для такой простой функции,хотел изучить кэширование взял простой пример и то не работает у меня (python ~ 3.9)

from functools import lru_cache
import time

@lru_cache(maxsize=10)
def test(num):
    result = 0
    for i in range(num):
        result += i
    return result


start = time.time()
test(num=100000000)
end = time.time()
print(f"result 1: {end - start}")
print(test.cache_info())

Выполняю функцию что с декоратором lru_cache что без него, без разницы вообще :/

2 ответа 2

3

Смотри, декоратор @lru_cache используется для мемоизации рекурсивных функций. В твоём случае вообще нет смысла мемоизировать, т.к. функция вызывается один раз и в ней работает цикл. Чтобы что-то мемоизировать - надо сначала хоть одну отправную точку получить. У тебя её нет, потому происходит чистый подсчёт большого числа и заканчивается.

Вот тебе простой пример, чтобы сравнить на сколько быстро работает с ним и без него:

from functools import lru_cache
import time

@lru_cache(maxsize=10)
def test(num, res):
    if num == res:
        return res
    return test(num+1, res)
start = time.time()
for i in range(1,100):
    test(i, 100)
end = time.time()
print(f"result 1: {end - start}")
print(test.cache_info())

UPDATE

Вот пример на котором легче будет заметить разницу в работе программ

from functools import lru_cache
import time
import sys
sys.setrecursionlimit(8000000) # Поставил чтобы увеличить максимальное кол-во рекурсий

@lru_cache(maxsize=10)
def test(num, res):
    if num == res:
        return res
    if num % 1000 == 0:
        return test(num+1000, res)
    if num % 100 == 0:
        return test(num+100, res)
    if num % 10 == 0:
        return test(num+10, res)
    if num % 2 == 0:
        return test(num+2, res)
    return test(num+1, res)
start = time.time()
for i in range(1,100):
    test(i, 10**7)
end = time.time()
print(f"result 1: {end - start}")
print(test.cache_info())
2
  • 1
    Программа не столько долго работает, но видно что сокращается работа в разы. Если поставишь None вместо maxsize=10, то вообще летать будет ;)
    – DGDays
    5 фев 2022 в 4:35
  • 1
    Все понял терь ) Thanks you too mach...
    – almaz
    5 фев 2022 в 5:42
1

Ну, про то, что lru_cache к вашей задаче не подходит, вам уже написали. К каждой функции нужен правильный подход, чтобы её ускорить. Функция, в которой есть внутри цикл (а ещё лучше два вложенных цикла), довольно часто хорошо ускоряется с помощью декоратора numba.njit(), и если повезёт, то ускорение будет где-то на 2 порядка. Проверить это можно так на вашем коде - ничего не меняем в нём, просто используем другой декоратор:

import time
from numba import njit

@njit()
def test(num):
    result = 0
    for i in range(num):
        result += i
    return result

start = time.time()
test(num=100_000_000)
end = time.time()
print(f"result 1: {end - start}")
# result 1: 0.14800786972045898

Но есть и другие варианты, например, можно использовать библиотеку numpy, и ускорение будет тоже очень большое, но тут придётся немного переписать код, например, так:

import time
import numpy as np

def test(num):
    return np.arange(num).sum()

start = time.time()
test(num=100_000_000)
end = time.time()
print(f"result 1: {end - start}")
# result 1: 0.24969029426574707

Важно знать, какие структуры данных и библиотеки в каком случае лучше использовать. Нет какого-то одного универсального средства. Зато есть много разных, нужно их знать и уметь применять.

P.S. Кстати, если убрать из вашей функции цикл и просто просуммировать сразу range, то это уже будет работать в несколько раз быстрее без всяких декораторов и дополнительных библиотек:

def test(num):
    return sum(range(num))

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.