7

Есть работающий сайт, написанный на Python (Django), и БД - MySQL.
Так как разработчики не сильно потрудились над написанием оптимизированного кода, сайт получился очень тяжелым. И при посещаемости в десяток тысяч в день, в пиковое время сервер не справляется с нагрузкой и выкидывает тех кого не успел обслужить.
Вот система физического сервера:
1. 2 ядра по 1,8GHz
2. ОЗУ 2Гб

Вот на чем сейчас сервер развернут:
mysql + nginx + fastcgi

Так вот вопрос: хотелось бы услышать мнение бывалых, опытных, или просто знающих, на чем можно еще развернуть данный сайт, дабы было максимально быстро, ресурсо ёмко? Или же данная связка является самой быстрой? Может кто делал сравнение быстродействия.
А также возможно кто-то в курсе как оптимизировать работу сервера так чтобы гиганское количество запросов в БД не ложило сервер, может какая-то настройка?
Спасибо.

6 ответов 6

2

В принципе, связка достаточно быстрая. Но у вас, скорее всего просто сильно не оптимизированный код и/или SQL-запросы, не используется кэширование и т.д. Я разворачивал примерно на вашей конфигурации на связке Apache + mod_wsgi + Nginx(для статики), и таких мощностей на такую нагрузку хватало. Посмотрите в сторону настроек кэширования запросов MySQL. Конфигурационные параметры типа (цитата):

> query_cache_size — размер кеша запросов. 
> query_cache_limit — размер максимальной выборки, хранимой в кеше;  
> query_cache_min_res_unit — минимальный размер блока, хранимого в кеше;
> query_cache_wlock_invalidate - определяет будут ли данные браться из кеша, если таблица, к которым они относятся заблокирована на чтение.
1
  • memcached есть на сайте, все через него идет. Однако проверю конфигурационные параметры (спасибо). Но вы правильно предположили, сильно много и сложные SQL запросы, собственно с этим сервер и не справляется, по наблюдению за сервером почти всегда MySQL забирает больше 60% процессора, память тоже кушает, хотя процесс python все же больше памяти съедает.
    – trec
    12 июл 2011 в 15:20
1

Замена fastcgi на uwsgi может придать небольшое ускорение. Это, конечно, не спасет от сотни запросов которые создает ORM джанги.

1

Допилите по быстрому сайт. Добавьте кеширование отдаваемого контента на запросы пользователей в базу redis. Скорее всего одинаковых страниц оч. и оч. много. Возможно это в корень решит вашу проблему.

3
  • Плюсую. Лечить надо причину, а не следствие. Новое железо - это хорошо, но в качестве временной меры.
    – ling
    13 июл 2011 в 6:16
  • 1
    Все ребята советуют правильные подходы, но они "долгозатратны". В одном из ответов есть дельный совет: найдите специалиста по оптимизации. Переписывание и переносы систем и наращивание мощностей может и не спасти. P.S.: Redis - это это не покупка железа, оно бесплатно. Многие так свои проекты спасают, примерно на пол года. Все что тормозит, засуньте туда: шаблоны страниц, часто используемые справочники (не изменяемые, к примеру: для списков).
    – org
    13 июл 2011 в 7:56
  • Да, видимо нужно сюда копать. Спасибо.
    – trec
    13 июл 2011 в 8:02
1

От MySql рекомендую отказаться в пользу PostgreSql. Легче переживёте проблему 100k и отмасштабируетесь когда нужно.

Вот текущий идеал в плане быстродействия:
Python - PostgreSql - Django - uwsgi - nginx

И помните что железо стоит дешевле кода. :-)

2
  • В простых запросах MySql вроде бы быстрее PostgreSql. Судя по тому что СУБД загружена, используется ORM джанги, так что PostgreSql тут не серебряная пуля.
    – rnd_d
    12 июл 2011 в 19:36
  • Была попытка уже переписать и БД на PostgreSql и двиг, но не рассчитали с масштабами проекта и осталось всё как есть.
    – trec
    13 июл 2011 в 6:19
1

Вам не на связках сейчас стоит заморачиваться, а сделать упор на оптимизации СУБД и БД. Найдите того, кто действительно в этом разбирается.

3
  • То есть, могу расценивать данный ответ, что какая бы, не была, связка, на быстродействие это почти не повлияет.
    – trec
    13 июл 2011 в 6:21
  • Я к тому, что дело может быть и не только в MySQL. Возможно, оптимизация БД проводится слишком редко, либо совсем не проводится. Перед тем, как что-то кардинально менять, попробуйте сначала провести оптимизацию запросов, структуры БД и сервера.
    – Avalon
    13 июл 2011 в 7:42
  • Со структурой очень тяжко, все ведь связанно с моделями, ну и там такая каша. По этому и решил спросить совета о связке, буду пытаться с сервером подружиться или запросы утихомирить.
    – trec
    13 июл 2011 в 8:40
1

Для одного из своих нагруженных проектов использую tornado + nginx само решение находится здесь Выдерживает более 20К за сутки на таком же железе что и в описанной конфигурации,

1
  • Интересно. Но мне кажется что все таки это нагромождение, Tornado + wsgi. Но в общем нужно попробовать. Спасибо за подробную ссылку.
    – trec
    13 июл 2011 в 12:34

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.