5

Доброго времени суток!

Есть некоторое приложение, обрабатывающее данные. К нему приходит клиент/клиенты и начинают активно слать данные. В среднем на одной ноде должно обрабатываться 5-10к сообщений в секунду от одного клиента. Средний размер сообщения 700-1100 байт. Сталкивались с проблемами переполнения буферов сокета, увеличили. Все равно скорости не всегда хватает. выше 3к начинает проседать сервер и жрать 100% ( 1 ядра ).

Вопрос: как лучше организовать архитектуру и кто сталкивался с такими вещами? куда посмотреть? почитать?

P.S. естесственно сервер и клиент linux.

9
  • 2
    >выше 3к начинает проседать сервер и жрать 100% ( 1 ядра ) А Вы уже распараллелили нагрузку на все ядра? Или у Вас только 1 ядро работает?
    – mega
    13 ноя 2013 в 8:40
  • 1
    Под сообщением Вы понимаете порцию данных, добавляемых в сокет? Т.е. по сути, просто поток до 10000*1100 байт/с от одного клиента? А до 3000 пакетов/с загрузка процессора принципиально меньше? 13 ноя 2013 в 9:21
  • Да, именно порцию данных в сокет. На 3000 пакетов/с как раз набивается 100%. Вопрос как раз в том, как лучше разгрузить/распараллелить эту задачу. потому что мы не только читаем из этого сокета, мы еще по нему и отвечаем тут же.
    – Fe1iX
    13 ноя 2013 в 11:17
  • 1
    нескромный вопрос - а профайлером, хоть самым простым, смотрели, где тупит? может тупит как раз в самом простом? Мой любимый пример - прибавление по одному элементу к массиву с постоянным перевыделением памяти.
    – KoVadim
    13 ноя 2013 в 21:19
  • Смотрели. VTune очень помог. Все же самое трудоемкое из всего это разбор и декодирование/кодирование сообщений.
    – Fe1iX
    13 ноя 2013 в 22:21

1 ответ 1

2

Если мощности есть - типичное количество одновременно подключённых клиентов существенно меньше, чем количество ядер, то можно сделать, например, так.

Поток, работающий с сокетом, вычитывает данные и кладёт их в очередь задач. Несколько других потоков выбирают из этой очереди, обрабатывают эти данные и кладут результаты в очередь результатов. Первый поток берёт всё из очереди результатов и отправляет клиенту. Всё это реализовывать надо аккуратно, иначе будут проблемы с блокировками, конфликты доступа к памяти... Нотификации о появлении новых данных - семафорами. Если будет тормозить из-за них, можно заморочиться с ручной реализацией через переменные (будет сложно и муторно, но слышал о подобной success story от коллеги).

Или, в качестве фантазии, можно сделать по очереди заданий на каждый поток-обработчик. Каждый поток, работающий с сокетом, знает 4 потока-обработчика (4 проистекает из 10000/3000), и по очереди кладёт им задания.

Но для начала я бы рекомендовал подумать над оптимизацией собственно процесса обработки. Гораздо приятней было бы запихнуть всю обработку данных одного клиента на одно ядро.

1
  • Вот я примерно так же думал. Думаю все же придется вынести в 2 очереди. Тут еще есть такой момент: входящие сообщения раза в 2 больше чем исходящие + требуют декодировки. Все же тоже склоняюсь к 2м очередям и потокам обработки данных уже за ними.
    – Fe1iX
    13 ноя 2013 в 18:54

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.