5

У меня есть приложение написанное на питоне (Django). База данных postgres. Хочу оптимизировать поиск. Мои модели:

class User(models.Model):
    #some fields

class UserAction(models.Model):
    user = models.ForeignKey('User', related_name='actions')
    date = models.DateTimeField(datetime.datetime.now)

Запрос типа:

user_by_range = User.objects.filter(actions__date__range=(start, end))

Выполняется дико долго. Как мне оптимизировать мои модели и/или запрос?

Добавил индекс в класс активности, не помогло

class UserAction(models.Model):
    user = models.ForeignKey('User', related_name='actions')
    date = models.DateTimeField(datetime.datetime.now, db_index=True)
    value = models.IntegerField(db_index=True, default=0)

Как указать, чтобы django добавил индекс в таблицу User для поля actions? remodels.ForeignKey не принимает параметра db_index.

Предыдущий запрос не совсем корректен. На самом деле я делаю такой запрос:

user_by_range = User.objects.filter(actions__date__range=(start, end)).annotate(v_sum=Sum('value')).order_by('-v_sum').distinct()

Как я понял, тормоза идут из за annotate(v_sum=Sum('value')). Пытаясь это оптимизировать делаю так:

 user_by_range = User.objects.filter(actions__in=UserAction.objects.filter(date__range=(start, end))).annotate(v_sum=Sum('value')).order_by('-v_sum').distinct()

В итоге имею тоже самое. Но есть идея - возможно ли на стадии

UserAction.objects.filter(date__range=(start, end))

посчитать сумму для каждого пользователя, а потом взять, к примеру, только 20 первых id пользователей и по ним выбарть из таблички User. Приведет ли это к оптимизации? Как посчитать сумму value для одинаковых id пользователя в табл. UserAction?

distinct - не помеха. С ним и без него работает одинаково. Если убрать annotate не тормозит.

И так, я посмотрел запрос cгенерированный платформой Django. В запрос вставлен оператор GROUP BY по всем колонкам (их около 15). Я думаю в этом и есть проблема (группировать надо только по id пользователя). Как мне сделать так, чтоб GROUP BY был только по одной колонке?

2
  • foreign сам по себе ( должен ) индексируется
    – timka_s
    Commented 9 нояб. 2011 в 15:17
  • А сколько у вас записей в таблице?
    – rnd_d
    Commented 11 июл. 2012 в 6:09

2 ответа 2

1

Покажите сгенерированный django - sql запрос. Создайте (вручную) в базе индекс на поле useraction.date.

6
  • 1
    sql запрос? user_by_range = User.objects.filter(actions__date__range=(start, end)) user_by_range[0] from django.db import connection connection.queries
    – timka_s
    Commented 9 нояб. 2011 в 15:14
  • Не совсем понял про запрос. Зачем он вам? Мне кажеться, что дело тут в том, что я делаю запрос к таблице пользователей, а проверка идет по другой таблице. Возможно, быстрее будет обращаться напрямую к таблице активности. Commented 9 нояб. 2011 в 16:45
  • 1
    Если вы говорите что тормозит - то:<br> 1. либо запрос сгенерированный django слишком ужасен<br> 2. либо ваша таблица слишком большая<br> 3. тормоза субъективны<br> А гадать - дело не благодарное
    – timka_s
    Commented 9 нояб. 2011 в 16:55
  • Явно убирая annotate получаю ускорение. distinct врятли будет источником проблем. Commented 9 нояб. 2011 в 18:31
  • Обновил вопрос. Commented 10 нояб. 2011 в 12:02
0

Проблема не понятна.
Попробуйте поставить пакет DJANGO DEBUG TOOLBAR.
Либо, если вам нужна только первая запись, поставить лимиты.
Например так:

user_by_range = User.objects.filter(actions__date__range=(start, end))[:1]

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.