0

Всем привет. На предприятии стоит скада система с gateway сервером на centos. Внезапно на новогодних праздниках 4 января возникла проблема - каждые 2-5 минут пропадает связь с разными устройствами в сети (чаще всего с ИБП, которые опрашиваются по SNMP, но не только они, snmp тоже на gateway сервере) и появляется спустя 2 минуты. В момент потери соединения, устройство не пингуется на gateway, но пингуется на компьютерах. Ранее такая проблема уже возникала полгода назад и при попытке пинга на gateway сервере возникало сообщение «недостаточно буферного пространства». Решилась тогда данная проблема вводом команды:

echo 8192 > /proc/sys/net/ipv4/neigh/default/gc_thresh3 

Но теперь это не помогает и устройство поочередно отваливаются и снова появляются. Прошу помощи.


Увеличил время опроса в утилите опроса SNMP - не помогло.


Благодарю за ответ. gc_thresh уже пробовал корректировать, результата нет. В arp таблице около 1300 записей всегда (что примерно соответствует кол-ву устройств в сети) и буквально 2-3 incomplete записи. Вот вывод команды dmesg в двух частях. Чуть больше года назад перешли из зоны 172.20 на 172.21, так что видимо в этом логе что-то не очень хорошее происходит, но так было и в эти полгода, когда все работало. https://pastebin.com/rLynm8Me https://pastebin.com/dahVpXAG

7
  • Перезагрузка коммутаторов - не помогла. Прошу помощи.
    – Travel82
    13 янв 2020 в 2:10
  • Проблема все еще не решена. Может кто еще что подскажет.
    – Travel82
    15 янв 2020 в 3:42
  • И все еще нет решения.
    – Travel82
    21 янв 2020 в 7:38
  • Arp таблицу чистил, gateway сервер перезагружал, на ИБП 172.21.15.x всех выключил ipv6, хотя он и так на gateway выключен, увеличивал время опроса в SNMP скрипте, игрался с параметрами gc_thresh и прочими связанными с arp, нашел комп 172.21.0.41 на котором стояла прога мониторинга ИБП и он спамил арп запросами на все ИБП, отключил его. Ничего из этого не помогло. Знающий человек подсказал, что дело может быть в большом кол-ве броадкаст запросов, т.к. на всех устройствах, в том числе ИБП маска 255.255.0.0.
    – Travel82
    22 янв 2020 в 2:30
  • Выкладываю настройки сети с gateway сервера и dump.pcap после tcpdump на интерфейсе bond3 (на нем сидят все 172.21.x.x устройства). Прошу помощи. yadi.sk/d/77-00fOEut4PDg yadi.sk/d/EP22HDiYyW2a5Q
    – Travel82
    22 янв 2020 в 2:30

1 ответ 1

1

Похоже на переполнение очереди буфера сетевого интерфейса. Возможно этот интерфейс попросту перегружен, возможно большие очереди сообщений на / с устройств на этот интерфейс.

Можно попробовать посмотреть что происходит в логах или при помощи dmesg

Так же попробовать поиграть с параметрами sysctl, как пример:

net.ipv4.neigh.default.gc_thresh1 = 80000
net.ipv4.neigh.default.gc_thresh2 = 90000
net.ipv4.neigh.default.gc_thresh3 = 100000

P.S. на форуме тоже ответил

1
  • Благодарю за ответ. gc_thresh уже пробовал корректировать, результата нет. В arp таблице около 1300 записей всегда (что примерно соответствует кол-ву устройств в сети) и буквально 2-3 incomplete записи. Вот вывод команды dmesg в двух частях. Чуть больше года назад перешли из зоны 172.20 на 172.21, так что видимо в этом логе что-то не очень хорошее происходит, но так было и в эти полгода, когда все работало. pastebin.com/rLynm8Me pastebin.com/dahVpXAG
    – Travel82
    9 янв 2020 в 16:03

Ваш ответ

By clicking “Отправить ответ”, you agree to our terms of service and acknowledge that you have read and understand our privacy policy and code of conduct.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.