2

Упрощенный вариант модели:

class Product():
    name = CharField()
    width = IntegerField()
    height = IntegerField() 
    diameter = IntegerField()

Пользователь вводит 2 сета размеров, допустим:

w = 10
h = 20
d = 30

w2 = 15
h2 = 25
d2 = 35

Моя задача выбрать все товары первого и второго размера, только если и первый и второй размер присутствуют в базе одновременно.

Например, вот такая пара товаров должна попасть в выборку:

<'Модель1', 10, 20, 30>
<'Модель1', 15, 15, 35>

А вот такой товар в выборку попасть не должен, т.к. у него нет пары со вторым размером:

<'Модель2', 10, 20, 30>

Можно ли сделать такую выборку одним запросом и как? Или придется решать задачу, храня какие-то промежуточные результаты?

3
  • Как у вас сейчас это работает? Для каждого размера делаете запрос к базе и потом обрабатываете эти результаты?
    – Andrey
    3 мар 2020 в 18:09
  • @Andrey ну я делаю выборку первого и второго варианта через or. То есть выбираются все варианты, где есть хотя бы один из размеров. Получившуюся выборку перебираю питоньим циклом и формирую список с проверкой, что присутствую оба размера. Так себе решение, но лучше пока не нашел. 4 мар 2020 в 7:47
  • Запостил свое решение, может быть как-то поможет вам.
    – Andrey
    4 мар 2020 в 11:03

3 ответа 3

2

Начал изучать django, решал эту задачу 3 дня. Пока решал, узнал много нового, так что спасибо огромное за вопрос!

Начал новый проект market и приложение goods.

Вот дерево:

models.py

from django.db import models

# Create your models here.

class Good(models.Model):
    name = models.CharField(max_length = 50)
    height = models.IntegerField()
    width = models.IntegerField()
    diameter = models.IntegerField()

    def __str__(self):
        return self.name

Через Админку создал 6 моделей товаров:

name = Shoes, height = 10, width = 20, diameter = 30
name = Shoes, height = 15, width = 15, diameter = 35
name = Shoes, height = 20, width = 40, diameter = 50 
name = Sneakers, height = 10, width = 20, diameter = 30 
name = Sneakers, height = 15, width = 15, diameter = 35 
name = Slippers, height = 10, width = 20, diameter = 30

forms.py

from django import forms
from django.core import validators
from goods.models import Good

class DoubleCheckForm(forms.ModelForm):
    class Meta:
        model = Good
        exclude = ['name'] # Exclude name

views.py

from django.shortcuts import render
from goods.models import Good
from . import forms

from django.contrib.auth.forms import UserCreationForm

# Create your views here.


def search(request):
    first_form = forms.DoubleCheckForm(prefix="first_form")
    second_form = forms.DoubleCheckForm(prefix="second_form")
    context = {'first_form':first_form,
                'second_form':second_form,
                'result':None}

    if request.method == 'POST':
        first_form = forms.DoubleCheckForm(request.POST, prefix="first_form")
        second_form = forms.DoubleCheckForm(request.POST, prefix="second_form")

        if first_form.is_valid() and second_form.is_valid():
            print('VALIDATION SUCCESS!')
            first_user_height = first_form.cleaned_data.get('height')
            first_user_width = first_form.cleaned_data.get('width')
            first_user_diameter = first_form.cleaned_data.get('diameter')

            second_user_height = second_form.cleaned_data.get('height')
            second_user_width = second_form.cleaned_data.get('width')
            second_user_diameter = second_form.cleaned_data.get('diameter')

            #QuerySet of corresponding to first_form's parameters goods
            g1 = Good.objects.all().filter(height = first_user_height, width = first_user_width, diameter = first_user_diameter) 
            #QuerySet of corresponding to second_form's parameters goods
            g2 = Good.objects.all().filter(height = second_user_height, width = second_user_width, diameter = second_user_diameter)

            l1 = [i.name for i in g1] #List that consists from good's name from first QuerySet
            l2 = [c.name for c in g2] #List that consists from good's name from second QuerySet

            cur_res = [name for name in l1 if name in l2] #Good's names that correspon both to first and second form's parameters
            result = ''
            for i in cur_res:
                result += f'{i}, '
            context['result'] = result[0:-2]

    return render(request, 'goods/search.html', context)

ШАБЛОН search.html

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Search</title>
    <link rel="stylesheet" href="https://stackpath.bootstrapcdn.com/bootstrap/4.4.1/css/bootstrap.min.css" integrity="sha384-Vkoo8x4CGsO3+Hhxv8T/Q5PaXtkKtu6ug5TOeNV6gBiFeWPGFN9MuhOf23Q9Ifjh" crossorigin="anonymous">
</head>
<body>
  <style>
    h3{
      font-size: 38px;
      background: -webkit-linear-gradient(rgb(128, 128, 128), #3cdede); /*#eee, #333*/
      -webkit-background-clip: text;
      -webkit-text-fill-color: transparent;
    }
  </style>  

  <div style="background-image: linear-gradient(rgb(128, 128, 128), #3cdede)">
    <div class="container">
        <div class="jumbotron">
            <h1 class="display-4">Hello, world!</h1>
            <p class="lead">You can type two kind of parametres to look for goods that relate to this parametres and have the same name</p>
            <hr class="my-4">
            <form method="POST">
                {% csrf_token %}
                <div class="row">
                    <div class="col-lg-5 col-5">
                        {{first_form.as_ul}}
                    </div>
                    <div class="col-lg-5 col-5">
                        {{second_form.as_ul}}
                    </div>
                </div>
                <hr class="my-4">
                <div style="text-align: center;" class="row">
                    <div class="col-lg-9 col-9">
                        <input type="submit" class="btn btn-primary btn-lg" value="Submit" style="height: 2.4em; width: 7em">
                    </div>
                </div>
            </form>
            <br>
            <div style="text-align: center;" class="row">
                <div class="col-lg-9 col-9">
                    {% if result %}
                        <h3><em>Result: {{result}}</em></h3>                

                    {% endif %}   
                </div>  
            </div>      


        </div>
    </div>
  </div>
</body>
</html>

Теперь вводим данные в форму:

Нажимаем на кнопку и получаем результат! voila

P.S Надеюсь Я ответил на ваш вопрос =))

P.P.S 2 вопроса, которые я не смог нагуглить и задал так же на stackOverflow :D Первый Второй

P.P.P.S Как говорится: Feel free to post any questions in the comments below :D

P.P.P.P.S Слишко много ПэЭсов.. Так вообще можно :D

3
  • Воу-воу, спасило, я пока ничего не понял, но я изучу ваш ответ) 26 фев 2020 в 6:50
  • А, я понял. Вы просто делаете 2 запроса а потом в самом питоне уже обрабатываете результаты. Проблема такого подхода в низкой произодительности на больших выборках. Я хотел сделать это одним запросом к sql, чтобы запрос был быстрый) 26 фев 2020 в 7:05
  • Как есть, думаю есть другой вариант, но я его не нашёл
    – Alex
    26 фев 2020 в 8:41
0

снова я. Думаю тот скрипт, который я написал в прошлом ответе очень даже работоспособный и быстрый.

я немного обновил модель: добавил ещё одно поле, которое хранит количество товара, ведь это реалистично/

models.py

from django.db import models

# Create your models here.

class Good(models.Model):
    name = models.CharField(max_length = 50)
    height = models.IntegerField()
    width = models.IntegerField()
    diameter = models.IntegerField()
    number = models.IntegerField() # NEW

    def __str__(self):
        return self.name

а в forms.py в exclude добавил number, чтоб этого поля в выводе не было

Создал незамысловатый скрипт фэйкер, который наполняет бд, чтоб не делать это в ручную populate_goods.py

import os
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'market.settings')

import django
django.setup()

## FAKE POP SCRIPT
import random
from goods.models import Good
from faker import Faker

fakegen = Faker()

fake_name_list = ['Apres-ski', 'Waders', 'Combat boots', 'Trekking boots', 'Brogues',
                  'Bast shoes', 'kamik', 'Boots', 'Clog', 'Crackowes',
                  'Bedroom', 'Monquis', 'Moccasins', 'Slip-ons shoes', 'Athletic shoe',
                  'Cowboy boots', 'Keds', 'Derby', 'Gibson', 'Bucks',
                  'Geta', 'Galoshes', 'Flip-flops', 'jandals', 'Japanese sandals']
fake_height_list = [10, 15, 20, 30, 35, 40]
fake_width_list = [10, 15, 20, 30, 35, 40]
fake_diameter_list = [10, 15, 20, 30, 35, 40]


def populate(N = 5):
    global number_of_created_models
    number_of_created_models = N

    for entry in range(N):

        # Create the fake data for that entry
        fake_name = random.choice(fake_name_list)
        fake_height = random.choice(fake_height_list)
        fake_width = random.choice(fake_width_list)
        fake_diameter = random.choice(fake_diameter_list)
        fake_number = random.randint(1, 99)

        # Create the new good entry

        fake_good = Good.objects.get_or_create(name = fake_name,
                                                height = fake_height,
                                                width = fake_width,
                                                diameter = fake_diameter,
                                                number = fake_number)[0]


if __name__ == '__main__':
    print('Populating script!')
    populate(100)
    print('Populating completed!')
    print('Создано {} Моделей'.format(number_of_created_models))

Далее во views.py если форма валидная импортирую time, чтобы засечь, сколько выполняется скрипт. И одну строчку, которая вычисляет сколько элементов в модели.

def search(request):
    first_form = forms.DoubleCheckForm(prefix="first_form")
    second_form = forms.DoubleCheckForm(prefix="second_form")
    context = {'first_form':first_form,
                'second_form':second_form,
                'result':None}

    if request.method == 'POST':
        first_form = forms.DoubleCheckForm(request.POST, prefix="first_form")
        second_form = forms.DoubleCheckForm(request.POST, prefix="second_form")

        if first_form.is_valid() and second_form.is_valid():

            import time
            start_time = time.time()

            print('VALIDATION SUCCESS!')
            first_user_height = first_form.cleaned_data.get('height')
            first_user_width = first_form.cleaned_data.get('width')
            first_user_diameter = first_form.cleaned_data.get('diameter')

            second_user_height = second_form.cleaned_data.get('height')
            second_user_width = second_form.cleaned_data.get('width')
            second_user_diameter = second_form.cleaned_data.get('diameter')

            #QuerySet of corresponding to first_form's parameters goods
            g1 = Good.objects.all().filter(height = first_user_height, width = first_user_width, diameter = first_user_diameter) 
            #QuerySet of corresponding to second_form's parameters goods
            g2 = Good.objects.all().filter(height = second_user_height, width = second_user_width, diameter = second_user_diameter)

            l1 = [i.name for i in g1] #List that consists from good's name from first QuerySet
            l2 = [c.name for c in g2] #List that consists from good's name from second QuerySet

            cur_res = [name for name in l1 if name in l2] #Good's names that correspon both to first and second form's parameters
            result = ''
            for i in cur_res:
                result += f'{i}, '
            context['result'] = result[0:-2]

            execution_time = time.time() - start_time
            context['execution_time'] = execution_time

            context['number_of_models'] = len(Good.objects.all())

    return render(request, 'goods/search.html', context)

А в шаблоне добавил 2 template teg'а, чтобы вывести, сколько времени заняло вычисление, и сколько элементов в модели. search.html

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Search</title>
    <link rel="stylesheet" href="https://stackpath.bootstrapcdn.com/bootstrap/4.4.1/css/bootstrap.min.css" integrity="sha384-Vkoo8x4CGsO3+Hhxv8T/Q5PaXtkKtu6ug5TOeNV6gBiFeWPGFN9MuhOf23Q9Ifjh" crossorigin="anonymous">
</head>
<body>
  <style>
    h3{
      font-size: 38px;
      background: -webkit-linear-gradient(rgb(128, 128, 128), #3cdede); /*#eee, #333*/
      -webkit-background-clip: text;
      -webkit-text-fill-color: transparent;
    }
    h4{
      font-size: 28px;
      background: -webkit-linear-gradient(red, blue);
      -webkit-background-clip: text;
      -webkit-text-fill-color: transparent;         
    }
  </style>  

  <div style="background-image: linear-gradient(rgb(128, 128, 128), #3cdede)">
    <div class="container">
        <div class="jumbotron">
            <h1 class="display-4">Hello, world!</h1>
            <p class="lead">You can type two kind of parametres to look for goods that relate to this parametres and have the same name</p>
            <hr class="my-4">
            <form method="POST">
                {% csrf_token %}
                <div class="row">
                    <div class="col-lg-5 col-5">
                        {{first_form.as_ul}}
                    </div>
                    <div class="col-lg-5 col-5">
                        {{second_form.as_ul}}
                    </div>
                </div>
                <hr class="my-4">
                <div style="text-align: center;" class="row">
                    <div class="col-lg-9 col-9">
                        <input type="submit" class="btn btn-primary btn-lg" value="Submit" style="height: 2.4em; width: 7em">
                    </div>
                </div>
            </form>
            <br>
            <div style="text-align: center;" class="row">
                <div class="col-lg-9 col-9">
                    {% if result %}
                        <h3><em>Result: {{result}}</em></h3>
                        <h4>Execution takes {{execution_time}} seconds</h4>
                        <h4>we have {{number_of_models}} Different Goods in the storage</h4>                

                    {% endif %}   
                </div>  
            </div>      


        </div>
    </div>
  </div>
</body>
</html>

С 200, 500, 1000, 2000 элементов вычисление выполнялось от Пяти тысячных секунд до Пятнадцати сотых секунд

Далее решил затестить с 10000 элементов модели Самое медленное это 23 Тысячных секунды

За пять дней регулярной работы над эти вопросом не нашёл как это можно сделать просто запросом без какой-либо обработки. To my mind это логично ведь ситуация нестандартная(используется не так часто), я думаю от 0,005 до 0,02 секунды, это очень быстро, а в обычном магазине будет максимум 100-150 различных товаров (по моему мнению) и это будет выполнятся ещё быстрей. 10000 товаров может быть только в таких магазинах как AliExpress, и всё равно всё выполняется очень быстро. Так вот хочу у вас спросить 0,005 или 0,02 секунды это много?

Я продолжаю изучать Веб-разработку, python, django, если найду какое-нибудь Омега-Интересное решение напишу. =)

0

Модель:

class Product(models.Model):
    name = models.CharField(max_length=100)
    width = models.IntegerField()
    height = models.IntegerField()
    diameter = models.IntegerField()

    def __str__(self):
        return f'{self.name} - {self.width}x{self.height}x{self.diameter}'

Пример данных в бд и список размеров, по которым будем искать:

In [61]: Product.objects.all()                                                                                                                        
Out[61]: <QuerySet [<Product: Product_1 - 10x20x30>, <Product: Product_1 - 15x25x35>, <Product: Product_2 - 15x25x35>, <Product: Product_3 - 15x25x35>, <Product: Product_3 - 10x20x30>, <Product: Product_4 - 1x1x1>]>

In [62]: sizes                                                                                                                                        
Out[62]: ['10x20x30', '15x25x35']

Инструменты, чтобы отслеживать количество запросов к бд:

In [63]: from django.db import connection, reset_queries

In [64]: reset_queries()

In [65]: connection.queries
Out[65]: []

Параметры продукта находятся в разных полях модели, поэтому сгенерируем новое поле с размером продукта. Для этого используем annotate() и функцию Concat(). И сразу отсекаем объекты, у которых значение product_size не в списке sizes:

In [66]: from django.db.models import CharField, Count, Value

In [67]: from django.db.models.functions import Concat

In [68]: products = Product.objects.annotate( 
    ...:    product_size=Concat('width', Value('x'), 'height', Value('x'), 'diameter', 
    ...:                        output_field=CharField() 
    ...:    ) 
    ...: ).filter(product_size__in=sizes)

Теперь посчитаем сколько раз встречается каждое имя в products и оставим только те имена, количество которых равно длине списка sizes:

In [69]: names = [ 
    ...:     p['name']  
    ...:     for p in products.values('name').annotate(count=Count('name'))  
    ...:     if p['count'] == len(sizes) 
    ...: ]                                                                                                                                            

In [70]: names                                                                                                                                        
Out[70]: ['Product_1', 'Product_3']

И оставляем только те продукты имена которых есть в списке names:

In [71]: products.filter(name__in=names)                                                                                                              
Out[71]: <QuerySet [<Product: Product_1 - 10x20x30>, <Product: Product_1 - 15x25x35>, <Product: Product_3 - 15x25x35>, <Product: Product_3 - 10x20x30>]>

Смотрим сколько сделано запросов к бд:

In [72]: connection.queries                                                                                                                           
Out[72]: 
[{'sql': 'SELECT "products_product"."name", COUNT("products_product"."name") AS "count" FROM "products_product" WHERE COALESCE("products_product"."width", \'\') || COALESCE(COALESCE(\'x\', \'\') || COALESCE(COALESCE("products_product"."height", \'\') || COALESCE(COALESCE(\'x\', \'\') || COALESCE("products_product"."diameter", \'\'), \'\'), \'\'), \'\') IN (\'10x20x30\', \'15x25x35\') GROUP BY "products_product"."name"',
  'time': '0.000'},
 {'sql': 'SELECT "products_product"."id", "products_product"."name", "products_product"."width", "products_product"."height", "products_product"."diameter", COALESCE("products_product"."width", \'\') || COALESCE(COALESCE(\'x\', \'\') || COALESCE(COALESCE("products_product"."height", \'\') || COALESCE(COALESCE(\'x\', \'\') || COALESCE("products_product"."diameter", \'\'), \'\'), \'\'), \'\') AS "product_size" FROM "products_product" WHERE (COALESCE("products_product"."width", \'\') || COALESCE(COALESCE(\'x\', \'\') || COALESCE(COALESCE("products_product"."height", \'\') || COALESCE(COALESCE(\'x\', \'\') || COALESCE("products_product"."diameter", \'\'), \'\'), \'\'), \'\') IN (\'10x20x30\', \'15x25x35\') AND "products_product"."name" IN (\'Product_1\', \'Product_3\')) LIMIT 21',
  'time': '0.000'}]

In [73]: len(connection.queries)                                                         
Out[73]: 2

Я не нашел способа избавиться от names = [p['name'] for p in ...]. Если придумаете как сделать все одним запросом в ORM, напишите комментарий к моему ответу, любопытно узнать есть ли решение.

1

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.