0

Всем привет. На предприятии стоит скада система с gateway сервером на centos. Внезапно на новогодних праздниках 4 января возникла проблема - каждые 2-5 минут пропадает связь с разными устройствами в сети (чаще всего с ИБП, которые опрашиваются по SNMP, но не только они, snmp тоже на gateway сервере) и появляется спустя 2 минуты. В момент потери соединения, устройство не пингуется на gateway, но пингуется на компьютерах. Ранее такая проблема уже возникала полгода назад и при попытке пинга на gateway сервере возникало сообщение «недостаточно буферного пространства». Решилась тогда данная проблема вводом команды:

echo 8192 > /proc/sys/net/ipv4/neigh/default/gc_thresh3 

Но теперь это не помогает и устройство поочередно отваливаются и снова появляются. Прошу помощи.


Увеличил время опроса в утилите опроса SNMP - не помогло.


Благодарю за ответ. gc_thresh уже пробовал корректировать, результата нет. В arp таблице около 1300 записей всегда (что примерно соответствует кол-ву устройств в сети) и буквально 2-3 incomplete записи. Вот вывод команды dmesg в двух частях. Чуть больше года назад перешли из зоны 172.20 на 172.21, так что видимо в этом логе что-то не очень хорошее происходит, но так было и в эти полгода, когда все работало. https://pastebin.com/rLynm8Me https://pastebin.com/dahVpXAG

7
  • Перезагрузка коммутаторов - не помогла. Прошу помощи.
    – Travel82
    Commented 13 янв. 2020 в 2:10
  • Проблема все еще не решена. Может кто еще что подскажет.
    – Travel82
    Commented 15 янв. 2020 в 3:42
  • И все еще нет решения.
    – Travel82
    Commented 21 янв. 2020 в 7:38
  • Arp таблицу чистил, gateway сервер перезагружал, на ИБП 172.21.15.x всех выключил ipv6, хотя он и так на gateway выключен, увеличивал время опроса в SNMP скрипте, игрался с параметрами gc_thresh и прочими связанными с arp, нашел комп 172.21.0.41 на котором стояла прога мониторинга ИБП и он спамил арп запросами на все ИБП, отключил его. Ничего из этого не помогло. Знающий человек подсказал, что дело может быть в большом кол-ве броадкаст запросов, т.к. на всех устройствах, в том числе ИБП маска 255.255.0.0.
    – Travel82
    Commented 22 янв. 2020 в 2:30
  • Выкладываю настройки сети с gateway сервера и dump.pcap после tcpdump на интерфейсе bond3 (на нем сидят все 172.21.x.x устройства). Прошу помощи. yadi.sk/d/77-00fOEut4PDg yadi.sk/d/EP22HDiYyW2a5Q
    – Travel82
    Commented 22 янв. 2020 в 2:30

1 ответ 1

1

Похоже на переполнение очереди буфера сетевого интерфейса. Возможно этот интерфейс попросту перегружен, возможно большие очереди сообщений на / с устройств на этот интерфейс.

Можно попробовать посмотреть что происходит в логах или при помощи dmesg

Так же попробовать поиграть с параметрами sysctl, как пример:

net.ipv4.neigh.default.gc_thresh1 = 80000
net.ipv4.neigh.default.gc_thresh2 = 90000
net.ipv4.neigh.default.gc_thresh3 = 100000

P.S. на форуме тоже ответил

1
  • Благодарю за ответ. gc_thresh уже пробовал корректировать, результата нет. В arp таблице около 1300 записей всегда (что примерно соответствует кол-ву устройств в сети) и буквально 2-3 incomplete записи. Вот вывод команды dmesg в двух частях. Чуть больше года назад перешли из зоны 172.20 на 172.21, так что видимо в этом логе что-то не очень хорошее происходит, но так было и в эти полгода, когда все работало. pastebin.com/rLynm8Me pastebin.com/dahVpXAG
    – Travel82
    Commented 9 янв. 2020 в 16:03

Ваш ответ

Нажимая «Отправить ответ», вы соглашаетесь с условиями пользования и подтверждаете, что прочитали политику конфиденциальности.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.