1

Здравствуйте!
Я использую TCP(Socket) для отправки данных, если данных много, больше 4-х гигабайт, то приложение падает с ошибкой - переполнение памяти!

Я полученные байты отправляю в ConcurrentQueue, а отдельный поток обрабатывает эти байты, но данные приходят довольно быстро, что тот поток, который обрабатывает эти байты просто напросто не успевает и количество в ConcurrentQueue растёт и соответственно увеличивается память.

Подскажите пожалуйста, что можно сделать в этой ситуации?

2
  • Для начала просто сравните скорость входного потока с возможной скоростью передачи по TCP.
    – avp
    4 июн 2015 в 9:05
  • Если вам дан исчерпывающий ответ, отметьте его как верный (галка напротив выбранного ответа). 4 июн 2015 в 15:25

2 ответа 2

2

Решение зависит от того, что именно за данные вы передаете.

Допустимо ли просто приостановить передачу данных? Если да, то вам надо попросту выкинуть из схемы очередь и обрабатывать поступающие данные напрямую. Если приемник в такой схеме начнет простаивать - просто увеличивайте размер буфера приема в настройках сокета. Протокол TCP обладает механизмами (т.н. окна приема и передачи), которые автоматически подстроят скорость передачи данных под скорость их обработки.

Если же приостанавливать передачу недопустимо (поток реального времени) - допустимо ли терять часть данных? Если допустимо - то вам пора сменить используемый протокол - UDP подойдет куда лучше. А еще лучше подойдет RTP, позволяющий управлять скоростью передачи - но он куда сложнее.

Наконец, если нельзя ни тормозить передачу, ни выкидывать часть данных - переходим к хранению принятых данных. Самый простой способ - использовать 64-битную архитектуру, ей доступно куда больше памяти. Однако, на больших объемах используемой памяти начинает тормозить уже сборщик мусора, так что простая схема архитектуры может и не помочь. Кроме того, 64 бита не всегда доступны.

Альтернативный метод - можно записывать поступающие данные в файл. На диске места точно хватит. Если же вы не успеваете даже записать данные на диск - то надо уже менять железо. Хотя может помочь сжатие данных (а может и не помочь).

1

Например можно не принимать новые данные из TCP-соединения пока очередь в ConcurrentQueue больше какого-то порога. Это заставит отправителя отправлять данные медленнее и вы успеете их обработать.

Если это не возможно - складывать данные в какой-то промежуточный буфер на диске и потом вычитывать их оттуда.

Ну и если памяти достаточно и нужно работать именно с полным объемом и в памяти - проверить что используются 64-битные сборки - у 32-битных могут быть проблемы при работе с памятью объемом больше 2-3Гб (например пока данные шли 2Гб обработаться успело, 2 не успело и когда необработанные данные перевалили за 2Гб - наступил каюк потому что 32 бита и больше памяти адресовать не получается).

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge you have read our privacy policy.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.