1

Не могу загрузить видео на сервер больше ~20 мб, ошибка 413. Перепробовал уже массу вариантов. client_max_body_size устанавливал везде, где только можно и где нельзя. php и apache не использую. Используются nginx + gunicorn + supervisor.

nginx.conf:

worker_processes 2;

user www;
pid /var/run/nginx.pid;

events {
    worker_connections 1024;
    accept_mutex       off;
    use                epoll;
    multi_accept       on;
}

http {
    charset utf-8;
    include /etc/nginx/mime.types;
    default_type application/octet-stream;

    sendfile                  on;
    keepalive_timeout         30;
    keepalive_requests        100;
    tcp_nopush                on;
    tcp_nodelay               on;
    client_max_body_size      0;
    client_body_buffer_size 100m;
    client_body_timeout       10;
    send_timeout              2;
    reset_timedout_connection on;

    gzip on;
    gzip_disable "msie6";
    gzip_types text/plain text/css application/x-javascript text/xml application/xml application/xml+rss text/javascript;
    gzip_vary on;

    upstream django {
        server unix:/tmp/gunicorn.sock fail_timeout=0;
    }

    upstream supervisor {
        server unix:/tmp/supervisor.sock fail_timeout=0;
    }

    server {
        listen 80;
        server_name localhost;
        charset utf-8;
        keepalive_timeout 5;
        client_max_body_size 0;
        client_body_buffer_size 100m;
        client_body_timeout 600;
        access_log /var/log/nginx/access.log;

        location /static {
            alias /opt/app/collected_static;
            expires 30d;
        }

        location /media {
            alias /opt/app/media;
            expires 30d;
        }

        location / {
            proxy_set_header Host $http_host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Scheme http;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header X-Forwarded-Proto http;
            proxy_redirect off;
            proxy_connect_timeout 600;
            proxy_send_timeout 600;
            proxy_read_timeout 600;
            send_timeout 600;
            proxy_http_version 1.1;
            proxy_pass http://django;
            proxy_pass_header Server;
        }

        location /supervisor/ {
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header Host $http_host/supervisor/index.html;
            rewrite ^/supervisor(.*)$ /$1 break;
            proxy_redirect off;
            proxy_buffering off;
            proxy_pass https://supervisor/;

            auth_basic "Supervisor";
            auth_basic_user_file /etc/nginx/.htpasswd;
        }
    }
}

supervisor.conf:

[supervisord]
logfile = /var/log/supervisord.log
loglevel = info
directory = /opt/app
pidfile = /tmp/supervisord.pid
nodaemon = true
minfds = 65535
minprocs = 200
environment = PATH="/opt/app"
user = root

[unix_http_server]
file = /tmp/supervisor.sock ; (the path to the socket file)
chmod = 777                ; sockef file mode (default 0700)

[supervisorctl]
serverurl = unix:///tmp/supervisor.sock ; use a unix:// URL for a unix socket

[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface

[program:nginx]
priority = 1
command = /usr/sbin/nginx "-g" "daemon off;"
autorestart = true
stdout_events_enabled = true
stderr_events_enabled = true

[program:gunicorn]
command = /usr/bin/gunicorn -b unix:/tmp/gunicorn.sock Project.wsgi:application --workers=2 --worker-class=meinheld.gmeinheld.MeinheldWorker
priority = 2
stdout_logfile = /var/log/gunicorn.log
redirect_stderr = true
stdout_events_enabled = true
stderr_events_enabled = true
autorestart = true

В проекте всего 3 докер контейнера: web, db, redis. Nginx находится в web вместе с бэкендом.

Страшный Dockerfile контейнера web:

FROM alpine:3.11

COPY requirements.txt /opt/app/requirements.txt

RUN apk update && apk add --update --no-cache --progress \
    make \
    pcre \
    zlib \
    openssl \
    ca-certificates \
      py3-pillow \
      py3-cffi \
      py3-brotli \
      musl-dev \
      pango \
      python3 \
      python2-dev \
      python3-dev \
    postgresql-dev \
    gcc \
    libffi-dev \
    openssl-dev \
    cargo \
    supervisor \
    cyrus-sasl-dev \
    jpeg libpng freetype  \
      bash bash-completion \
      gettext-dev \
      geos \
    proj \
    gdal \
    binutils \
      nginx \
      postgis \
    wkhtmltopdf \
    nano \

      && ln -s /usr/lib/libproj.so.15 /usr/lib/libproj.so \
    && ln -s /usr/lib/libgdal.so.20 /usr/lib/libgdal.so \
    && ln -s /usr/lib/libgeos_c.so.1 /usr/lib/libgeos_c.so \

    && apk add --no-cache --virtual=.build-dependencies \
      musl-dev \
      build-base \
      zlib-dev \
      pcre-dev \
      jpeg-dev libpng-dev freetype-dev \
      python2-dev \
      python3-dev \

    && python3 -m ensurepip \
    && rm -r /usr/lib/python*/ensurepip \
    && export CRYPTOGRAPHY_DONT_BUILD_RUST=1 \
    && pip3 install --upgrade pip \
    && pip3 install --upgrade setuptools==58.2 \
    && pip3 install --no-cache-dir -r /opt/app/requirements.txt \

    # Add nginx group and user
    && addgroup -S www \
    && adduser -S www -G www \
    && apk del .build-dependencies \
    && chown -R www:www /var/lib/nginx/tmp \
    && chown -R www:www /var/lib/nginx \
    && echo "root:$(openssl passwd -apr1 6zpDyBiK)" >> /etc/nginx/.htpasswd

COPY . /opt/app
VOLUME ["/opt/app/media"]
WORKDIR /opt/app

RUN rm -v /etc/nginx/nginx.conf
ADD Deploy/nginx.conf /etc/nginx/

EXPOSE 80

CMD ["/bin/bash", "./Deploy/start_in_docker.sh"]

Весь проект работает за исключением загрузки больших файлов. Еще я пробовал вставлять client_max_body_size в блок location в nginx.conf и там же менять proxy_pass на localhost:8000 без upstream и gunicorn сокета, проблема та же.

И nginx смотрит на правильный файл конфигурации, команда nginx -t дает положительный результат и верный путь до файла.

В файле error.log nginx пишет ошибки:

  1. writev() failed (32: Broken pipe) while sending request to upstream
  2. readv() failed (104: Connection reset by peer) while reading upstream

Возникают эти ошибки беспорядочно, но только при загрузке файлов от ~20мб

1 ответ 1

0

Проблема была в gunicorn в файле supervisor.conf

Убрал из "command" --worker-class=meinheld.gmeinheld.MeinheldWorker

Осталось: command = /usr/bin/gunicorn -b unix:/tmp/gunicorn.sock Project.wsgi:application --workers=2

Теперь все работает

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.