1

Процессор 2 x 2,8

ОЗУ 512

Диск 30ГБ

ОС Ubuntu

Используемые технологии - Java (Spring), Tomcat, Postgresql.

Прекрасно понимаю , что вопрос не совсем корректен, и дать на него однозначный ответ не получится, но меня интересует хотя бы примерный расклад, на что вообще можно надеяться.

И еще несколько уточнений, давайте для примера возьмем простейший сервис для хранения заметок(так как мое приложение схоже по функционалу):

  • пользователи добавляют/редактируют удаляют заметки, также есть разделы, ну и сама информация по юзерам.
  • Предположим что приложение написано правильно и особо не грузит процессор, и в нем нет утечек памяти.
  • Тоже самое и с бд все запросы оптимизированы и правильно проставлены индексы.
  • Благодаря оффлайн режиму, пользователь может менять разные данные и потом целиком весь слепок изменений отправлять на сервер. Соответственно можно настроить время через которое приложение синхронизируется с сервером, давайте предположим для начала что это 1 запрос в минуту.

Опираясь на все изложенное, сколько активных(постоянно совершающих запросы к серверу) юзеров одновременно может принять сервер с данной конфигурацией? Примерная вилка значений пусть даже с большой степенью погрешности.

Также интересно как бы вы расчитали минимальную конфигурацию сервера если бы например заранее знали технологии, количество юзеров и другие факторы? Возможно есть интересные статьи по этому поводу или книги.

2 ответа 2

2

чуточку погуглив, можно найти статью http://qnatech.wordpress.com/2010/03/05/how-much-traffic-can-my-web-application-handle/

Там исходят из того, что томкат по умолчанию имеет 200 рабочих потоков. И мне кажется, что 0.2 секунды - это будет нормальное время обработки одного запроса. (правда при таком количестве памяти я бы увеличил до 1 секунды:) - потому что для java это не память, это склероз).

Исходя из этого получаем от 200 до 1000 запросов в секунду.

Так как планируется делать запрос раз в минуту, это дает от 200*60 = 12000 до 60000 юзеров онлайн.

Так как не все юзеры постоянно пользуются, поэтому на самом деле можно обслужить больше пользователей. обычно допускают, что 5-7% пользователей постоянно онлайн. Это ещё в 20 раз увеличивает кол-во. итого от 240000 до 1200000. Но думаю, тут уже в диск упретесь.

Можно зайти с другой стороны. Пусть одна заметка - килобайт (без картинок). Пользователь в среднем будет держать сотню заметок (кто больше, кто меньше). Итого 100 килобайт на пользователя (его профилем и накладными расходами принебрегаем). 30 Гигабайт на 0.1 Мбайт - 300000 пользователей (а видимо ещё где то и саму java нужно установить, и логи хранить...)

Поэтому, при текущем железе я не рассчитывал бы на кол-во пользователей больше 50-100 тысяч.

1
  • Спасибо за ответ! Статья полезная очень, и отвечает на ряд моих вопросов.
    – Lookingfor
    30 июл 2014 в 10:36
2

Расчет производить нужно для конкретного запроса, т.к. различные запросы выполняются за разное время. Также нужно понимать, что расчеты очень примерные и реальные цифры могут зависить от множества факторов (например фрагментация файловой системы).

Кроме того имеем ввиду, что обычной моделью обратки запросов в Tomcat является модель воркеров (один поток на каждое соединение). Исходя из этого задача сводится к расчету размера пула воркеров сервера Tomcat.

Т.к. у вас два ядра, то гарантированное кол-во одновременно обрабатываемых запросов без увеличения времени обрабоки равно 2, если есть еще hyper threading, то 4.

Но нас мало интересует именно одновременно выполняемые запросы, т.к. на самом деле они выполняются с некоторым свдигом по времени относительно друг друга. Да и менеджер задач ОС выделяет каждому потоку некоторый квант времени, после чего отдает CPU другому потоку и так далее (постоянно происходит переключение между потоками). Кроме того, ваши потоки в основном тратят не процессорное время, а ожидают ввода-вывода, т.е. по факту ничего не делают (хотя и занимают ядро).

Значит там нужная другая метрика, а именно пропускная способность (throughput), т.е. сколько запросов в секунду может обработать один воркер.

Давайте будем считать, что наш эталонный запрос выполняется за время Treq мс (это latency, ну почти latency). Это значит, что один воркер способен обрабатывать в секунду примерно 1000/Treq запросов. Умножаем это на кол-во ядер (HT тоже считаем ядром) и получаем идеальный throughput нашего сервера (т.е. без просадки производительности). В вашем случае 2 * (1000/Treq).

Теперь вспоминаем о том, что менеджер задач постоянно переключает ядра между потоками, и о том, что потоки часто висят на ожидании операций ввода-вывода. Это позволяет нам немного расслабиться и применить к нашей формуле некий коэффициент-множитель, назовем его k.

В идеальном и самом консервативном случае k = 1. Часто используют значение k = 2, а самые смелые доводят его до 8, а то и до 16. Хотя самые смелые ничего не считают и оставляют значение по умолчанию (для Tomcat это 200 воркеров). Но нужно понимать, что чем больше потоков работает в системе, тем выше contention (борьба за ресурсы) между потоками. Это неминуемо сказывается на увеличении latency. Здесь снова возникает необходимость в компромиссе. Можно пожертвовать latency, если его значение остается в допустимых по нашему мнению пределах (напрмер укладывается в SLA). Например запрос обрабатывается за 50 мс, а нас по какой-то причине устраивает 200 мс, значит можно увеличить кол-во воркеров в системе и обеспечить большее количество "одновременных" соединений.

Ну что же, проведя серию экспериментов мы решили, что сервер будет выделять 500 воркеров, потому что мы смелые. Но под нагрузкой у нас стали возникать странные проблемы, а именно latency постоянно выходит за пределы, обозначенные в SLA, при этом процессор загружен всего на 10%. Скорее всего мы уперлись в производительность диска (особенно если это HDD, против механики не попрешь). Важно, что в диск мы могли упереться вообще на другой машине (СУБД обычно устанавливается на отдельном сервере). Здесь уже нельзя точно сказать, какие меры нужно принимать, т.к. их много, от кэширования данных в приложении, до шардинга СУБД или полной смены хранилища.

Упереться также можно в прозводительность компоненты, к которому мы обращаемся из нашего приложения например по сети.

Имейте ввиду две вещи:

  1. Описанная выше методика расчета верна для синхронного типа взаимодействия.
  2. Верность этой методики субъективна и не является истиной в последней инстанции, т.к. строится на моем личном опыте.
2
  • Большое спасибо за ответ! Очень доступно и понятно. Что касается возможности одновременной обработки запросов я разобрался благодаря предыдущему и вашему описанию. Но вот меня еще интересует оперативная память, которая тоже, в моем случае может стать проблемой, при нагрузке(так как ее очень мало), что вы можете сказать по этому поводу? Цифры, формулы думаю тут наврятли какие-то можно озвучить(все очень зависит от проекта), но опираясь на ваш опыт примерно прикинуть думаю можно. Т.е на сколько быстро будет увеличиваться количество потребляемой памяти в зависимости от роста нагрузки?
    – Lookingfor
    30 июл 2014 в 10:31
  • 1
    @Lookingfor На этот вопрос проще ответить путем анализа рабтающего приложения. Создайте нагрузку, похожую на предполагаемую и анализируйте размера heap'а (например через JMX) и вызовы GC (включив gc log). С ростом нагрузки будут изменяться и аппетиты JVM к памяти. Так сможете грубо оценить необходимый объем памяти для нормальной работы и выработать стратегию оптимизации приложения по памяти и/или стратегию тюнинга GC. Стоит заметить, что хотя в Java можно очень неплохо исхитриться при оптимизации по памяти, докупка памяти может оказаться в перспективе более дешевым решением.
    – a_gura
    30 июл 2014 в 11:34

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.