1

Всем привет!

Я начинающий python/django разработчик с опытом менее полу года. Взял работу и на этапе тестирования столкнулся с ...

К сути дела:

Сайт python/django (в дальнейшем именую скриптом) размещен на хостинге. View скрипта принимает http запрос от сайта №1, обрабатывает данные и делает ответный http запрос на сайт №1.

Проблема возникла, когда на view скрипта был сделан одновременно 61 запрос со стороны сайта №1. Половина запросов вернулись с ошибкой 503.

Хостер пишет, что проблема в том, что зависают запросы.

Со стороны сайта №1 задержку между запросами не сделать, поскольку это CRM система сторонней фирмы, монолитная штука с большими сроками и притязаниями по доработкам.

Тестировал, делая 6 одновременных запросов - отработало корректно.

В итоге я сейчас в тупике.

С чем конкретно может быть связана проблема? Какие ошибки я допустил? Как изменить скрипт, чтобы не было этих "зависаний"? Может стоит вообще изменить алгоритм и инструменты реализации, но на что?

Прошу пощадить, если в каких-то формулировках я по джуниорски не точен.

Запрос к view скрипта выглядит вот так:

mysite.com/script?meta={"id":"20","trigger": "1"}&products=[{"article":"2222", "price_retail":"200", "price_purchase":"100"}, {"article":"1111", "price_retail":"400", "price_purchase":"100"}]

Вот код из view:

from django.shortcuts import render
from django.http import HttpResponse
import requests, json
import retailcrm
import time


def script(request):
    meta_info = request.GET['meta']
    products_info = request.GET['products']
    meta = json.loads(meta_info)
    products = json.loads(products_info)
    ord_id = meta["id"]

    #создание лог файла
    render_log_file(meta, products)

    #обработка принятого json и формирование переменных для отправки ответа
    message, parameters = get_parameters(meta, products)

    #формирование и отправка ответного http запроса
    api_request(ord_id, parameters)

    return HttpResponse(message)


def get_parameters(meta, products):
    standart_deliv = ['1111']
    non_standart_deliv = ['3921', '8354', '2312', '5192', '1734', '9042', '2589']
    sum_retail_code = ""
    sum_purchase_code = ""
    count_code = ""
    sum_retail_val = 0
    sum_purchase_val = 0
    count_val = 0
    trig_number = meta['trigger']
    trig_letter = ""
    order_id = meta['id']
    message = ""

    if trig_number == "1":
        trig_letter = "f"
    elif trig_number == "2":
        trig_letter = "s"
    else:
        trig_letter = "t"

    #формирование кода и значения полей для записи по api
    for i in range(0, len(products)):
        article = products[i]["article"]
        if article in standart_deliv:
            sum_retail_code = "opdk_stand_" + trig_letter + "summ"
            sum_purchase_code = "opdk_stand_" + trig_letter + "summ_purch"
            count_code = "opdk_stand_" + trig_letter + "count"
            sum_retail_val += int(products[i]['price_retail'])
            sum_purchase_val += int(products[i]['price_purchase'])
            count_val += 1
            message = "Стандартная"
        elif article in non_standart_deliv:
            sum_retail_code = "opdk_nonstand_" + trig_letter + "summ"
            sum_purchase_code = "opdk_nonstand_" + trig_letter + "summ_purch"
            count_code = "opdk_nonstand_" + trig_letter + "count"
            sum_retail_val += int(products[i]['price_retail'])
            sum_purchase_val += int(products[i]['price_purchase'])
            count_val += 1
            message = " Нестандартная"

    parameters = {
        "sum_retail_val": sum_retail_val, "sum_retail_code": sum_retail_code,
        "count_val": count_val, "count_code": count_code,
        "sum_purchase_val": sum_purchase_val, "sum_purchase_code": sum_purchase_code
    }

    message += "Код розничной суммы " + sum_retail_code + "  " + str(sum_retail_val) + " Код количества  " + count_code + " " + str(count_val)
    return message, parameters


def render_log_file(meta, products):
    order_info = ""
    about = f'\nНомер заказа {meta["id"]}. Триггера №{meta["trigger"]}'
    for i in range(0, len(products)):
        order_info += f'\narcticle = {products[i]["article"]}, retail price = {products[i]["price_retail"]}'
        order_info += f' purchase price = {products[i]["price_purchase"]}'
    log_text = about + order_info

    with open('log.txt', 'a') as file:
        cur_time = time.strftime("%d.%m.%y %H:%M:%S", time.localtime())
        # file.write(f'{text}  {cur_time}\n')
        if log_text:
            file.write(f'\nOperation time {cur_time}\n')
            file.write(f'Operation detail {log_text}\n')


def api_request(order_id, args):
    client = retailcrm.v5('https://caloristika.retailcrm.ru', 'UpKLgSX3j9qu')
    order = {
        'id': order_id,
        'customFields': {
            args["sum_retail_code"]: args["sum_retail_val"],
            args["sum_purchase_code"]: args["sum_purchase_val"],
            args["count_code"]: args["count_val"]
        }
    }
    uid_type = 'id'
    result = client.order_edit(order, uid_type)
    response = result.get_response()
    with open('log.txt', 'a') as file:
        file.write(f'API request completed\n') if response["success"] \
            else file.write(f'API request failed\n')
3
  • Какой WSGI сервер используется в проде (надеюсь, не python manage.py runserver)?
    – hoefling
    24 июл 2019 в 18:49
  • python manage.py runserver использую) Альтернативы не знаю.
    – Pavel
    24 июл 2019 в 18:51
  • найстройте uwsgi + nginx
    – Za Ars
    25 июл 2019 в 8:28

1 ответ 1

2

Django включает в себя реализацию WSGI протокола, которая запускается командой manage.py runserver. Это сервер, годный только для разработки; его нельзя использовать в проде. Для прода в питоне существуют разные серверы, имплементирующие WSGI - посмотри например, статью на Full Stack Python: WSGI Servers. Наиболее популярные, по моему мнению:

Есть другие серверы, имплементирующие WSGI (twisted, cherrypy и т.д.), но не все из них поддерживают Django из коробки, так что читай документацию к ним. Есть и другие серверы, которые умеют крутить Django проекты, но не имплементируют WSGI, к примеру daphne, но я бы не рекомендовал браться за такую экзотику без должного бэкграунда.

Из личного опыта, Apache + mod_wsgi на RHEL 7 и среднем серверном железе без особого твика настроек, с включенным кешированием держит ~700 запросов в секунду, с uWSGI картина похуже, но примерно в той же плоскости. С gunicorn не работал.

Если интересуют сравнения разных серверов, смотри результаты синтетических бенчмарков; к примеру, сравнение по запросам в секунду (картинка из гугля):

введите сюда описание изображения

В идеале - напиши свои собственные нагрузочные тесты, которые отражают наиболее вероятные сценарии на проде и погоняй их на разных серверах.

3
  • Спасибо. Проверяю решение.
    – Pavel
    26 июл 2019 в 21:16
  • Оказалось, что мы хостимся на виртуальном хостинге, на котором apache и некий passenger_wsgi. Т. е. wsgi стоит нестандартный, как я понял. Другой wsgi (gunicorn или mod_wsgi) они в рамках услуги виртуального хостинга ставить не хотят. Получается нужно переходить на vps и делать свой конфиг?
    – Pavel
    27 июл 2019 в 21:01
  • Это, скорее всего, Phusion Passenger, вебсервер для Ruby on Rails; он тоже поддерживает WSGI протокол. Если проект сконфигурирован толково, достаточно переименовать wsgi.py, которую manage.py startproject создает по дефолту, в passenger_wsgi.py и сервер сам задеплоит твой проект. Дальше - в зависимости от ошибок и настроек хостера. В случае чего, гугли "phusion passenger django setup" и смотри примеры конфигураций.
    – hoefling
    27 июл 2019 в 21:12

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.