3

Здравствуйте. Помогите настроить сетевые прерывания. Ибо при трафике около 7 гигабит падает все. Значение # cat /proc/interrupts

            CPU0       CPU1       CPU2       CPU3       CPU4       CPU5       CPU6       CPU7
   0:         59          0          0          0          0          0          0          0  IR-IO-APIC    2-edge      timer
   1:          2          0          0          0          0          0          0          0  IR-IO-APIC    1-edge      i8042
   8:          1          0          0          0          0          0          0          0  IR-IO-APIC    8-edge      rtc0
   9:          0          0          0          0          0          0          0          0  IR-IO-APIC    9-fasteoi   acpi
  12:          4          0          0          0          0          0          0          0  IR-IO-APIC   12-edge      i8042
  16:          0          0          0          0          0          0          0          0  IR-IO-APIC   16-fasteoi   uhci_hcd:usb3
  18:          2          0          0          0          0          0          0          0  IR-IO-APIC   18-fasteoi   ehci_hcd:usb1, uhci_hcd:usb8
  19:          0          0          0          0          0          0          0          0  IR-IO-APIC   19-fasteoi   uhci_hcd:usb5, uhci_hcd:usb7
  21:         47          0          0          0          0          0          0          0  IR-IO-APIC   21-fasteoi   uhci_hcd:usb4
  23:         41          0          0          0          0          0          0          0  IR-IO-APIC   23-fasteoi   ehci_hcd:usb2, uhci_hcd:usb6
  30:       6637    2291799    2133923    2266769          0          0          0          0  IR-PCI-MSI 512000-edge      ahci0
  31:        706    6048512    5067808    4814204          0          0          0          0  IR-PCI-MSI 512001-edge      ahci1
  32:       1158   14069023   11944757   11355291          0          0          0          0  IR-PCI-MSI 512002-edge      ahci2
  33:        825   14762766   11232436   11126763          0          0          0          0  IR-PCI-MSI 512003-edge      ahci3
  34:       1388   15709528   12088175   11770310          0          0          0          0  IR-PCI-MSI 512004-edge      ahci4
  35:       1328   16719792   12948256   11808908          0          0          0          0  IR-PCI-MSI 512005-edge      ahci5
  47:          1          2          0          0          0          0          0          0  IR-PCI-MSI 524288-edge      enp1s0f0
  48:          0          0          0          0          0          0          0          0  DMAR-MSI    0-edge      dmar0
  49:         11  201005906  254843695  408115329    6170590          0          0          0  IR-PCI-MSI 524289-edge      enp1s0f0-TxRx-0
  50:          6   87097711  327277045  431770078          0    6059024          0          0  IR-PCI-MSI 524290-edge      enp1s0f0-TxRx-1
  51:          6  161535085  357774605  353266243          0          0      39626          0  IR-PCI-MSI 524291-edge      enp1s0f0-TxRx-2
  52:          6  188544057  222940158  446190905          0          0     480999    1783390  IR-PCI-MSI 524292-edge      enp1s0f0-TxRx-3
  53:          6  248537222  364643231  267283191     367825          0          0          0  IR-PCI-MSI 524293-edge      enp1s0f0-TxRx-4
  54:         16  217758091  324263650  321161910          0     118856          0          0  IR-PCI-MSI 524294-edge      enp1s0f0-TxRx-5
  55:          7  241711610  365384464  256566066          0          0     745053          0  IR-PCI-MSI 524295-edge      enp1s0f0-TxRx-6
  56:         15  461811901  207824748  197220626          0          0          0     169653  IR-PCI-MSI 524296-edge      enp1s0f0-TxRx-7
  58:          1          2          0          0          0          0          0          0  IR-PCI-MSI 526336-edge      enp1s0f1
  59:          8  126260079  140838518  195906311    3250409          0          0          0  IR-PCI-MSI 526337-edge      enp1s0f1-TxRx-0
  60:          7   97120001  149343907  215621248          0    3257687          0          0  IR-PCI-MSI 526338-edge      enp1s0f1-TxRx-1
  61:          7  103827012  116761279  235752527          0          0      77320          0  IR-PCI-MSI 526339-edge      enp1s0f1-TxRx-2
  62:          7  121165432  107258891  175529188      52181          0          0   61289385  IR-PCI-MSI 526340-edge      enp1s0f1-TxRx-3
  63:          7  127247956  123216956  168170799   48615947      72681          0          0  IR-PCI-MSI 526341-edge      enp1s0f1-TxRx-4
  64:         16  145129647  151859060  124089580          0   43135755          0     238709  IR-PCI-MSI 526342-edge      enp1s0f1-TxRx-5
  65:          7  141750282  130148455  149985359          0          0   42658168          0  IR-PCI-MSI 526343-edge      enp1s0f1-TxRx-6
  66:         16  148841874  182742765  132240058          0          0          0      85921  IR-PCI-MSI 526344-edge      enp1s0f1-TxRx-7
  68:       1403    5501429    4249379    3444950          0          0          0          0  IR-PCI-MSI 4194304-edge      mpt2sas0-msix0
  69:          0    3791889    2730128    2294372          0          0          0          0  IR-PCI-MSI 4194305-edge      mpt2sas0-msix1
  70:          0    2944964    2300566    1778321          0          0          0          0  IR-PCI-MSI 4194306-edge      mpt2sas0-msix2
  71:          0    2851568    2120112    1622056          0          0          0          0  IR-PCI-MSI 4194307-edge      mpt2sas0-msix3
  72:          0    4106833    2763640    2351190        539          0          0          0  IR-PCI-MSI 4194308-edge      mpt2sas0-msix4
  73:          0    3875645    2714375    2279828          0        602          0          0  IR-PCI-MSI 4194309-edge      mpt2sas0-msix5
  74:          0    3924867    2707768    2215506          0          0       1224          0  IR-PCI-MSI 4194310-edge      mpt2sas0-msix6
  75:          0    3922148    2584971    2207749          0          0          0        937  IR-PCI-MSI 4194311-edge      mpt2sas0-msix7
  77:      62908   54768821   58356316   44976978     276834          0          0      30742  IR-PCI-MSI 1048576-edge      enp2s0
  78:      54297   47333684   50061439   50771166      21907     133912          0          0  IR-PCI-MSI 3145728-edge      enp6s0f0
  79:      52748   50377598   53043779   44531031          0     257859     124680          0  IR-PCI-MSI 3147776-edge      enp6s0f1
  80:      54119   51053576   54969593   42132175          0          0      17705          0  IR-PCI-MSI 3670016-edge      enp7s0f0
  82:      51826   55429326   48810471   42253805          0          0          0    1783858  IR-PCI-MSI 3672064-edge      enp7s0f1
  84:          2          0          0          0          0          0          0          0  IR-PCI-MSI 360448-edge      ioat-msix
  86:          2          0          0          0          0          0          0          0  IR-PCI-MSI 362496-edge      ioat-msix
  88:          2          0          0          0          0          0          0          0  IR-PCI-MSI 364544-edge      ioat-msix
  90:          2          0          0          0          0          0          0          0  IR-PCI-MSI 366592-edge      ioat-msix
  91:          2          0          0          0          0          0          0          0  IR-PCI-MSI 368640-edge      ioat-msix
  92:          2          0          0          0          0          0          0          0  IR-PCI-MSI 370688-edge      ioat-msix
  93:          2          0          0          0          0          0          0          0  IR-PCI-MSI 372736-edge      ioat-msix
  94:          2          0          0          0          0          0          0          0  IR-PCI-MSI 374784-edge      ioat-msix
 NMI:      51135      99591     104748     106615      36246      34760      33438      33740   Non-maskable interrupts
 LOC:   32118159   31821218   32239499   32548578   22767758   22396649   21591343   21319121   Local timer interrupts
 SPU:          0          0          0          0          0          0          0          0   Spurious interrupts
 PMI:      51135      99591     104748     106615      36246      34760      33438      33740   Performance monitoring interrupts
 IWI:      51132      99576     104728     106575      36244      34758      33437      33738   IRQ work interrupts
 RTR:          7          0          0          0          0          0          0          0   APIC ICR read retries
 RES: 2024749923 1411591859 1058503063  778623950  480965138  318922275  244372532  189918311   Rescheduling interrupts
 CAL:      17984     365567     782002    1602687   30692563   29568031   29441943   28853444   Function call interrupts
 TLB:     204782     457301     482528     502858     196860     200299     197655     205094   TLB shootdowns
 TRM:          0          0          0          0          0          0          0          0   Thermal event interrupts
 THR:          0          0          0          0          0          0          0          0   Threshold APIC interrupts
 DFR:          0          0          0          0          0          0          0          0   Deferred Error APIC interrupts
 MCE:          0          0          0          0          0          0          0          0   Machine check exceptions
 MCP:        537        537        537        537        537        537        537        537   Machine check polls
 ERR:          0
 MIS:          0
 PIN:          0          0          0          0          0          0          0          0   Posted-interrupt notification event
 PIW:          0          0          0          0          0          0          0          0   Posted-interrupt wakeup event

Значение # ifconfig

bond0     Link encap:Ethernet  HWaddr 00:15:17:0e:60:1e
          inet addr:212.113.38.99  Bcast:212.113.38.103  Mask:255.255.255.248
          inet6 addr: fe80::215:17ff:fe0e:601e/64 Scope:Link
          UP BROADCAST RUNNING MASTER MULTICAST  MTU:1500  Metric:1
          RX packets:2922004868 errors:0 dropped:39329 overruns:1744805 frame:0
          TX packets:7594247938 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:193613496573 (193.6 GB)  TX bytes:11291862542820 (11.2 TB)

enp1s0f0  Link encap:Ethernet  HWaddr 00:25:90:68:49:40
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:13799423217 errors:0 dropped:22610 overruns:106612520 frame:0
          TX packets:6097866756 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:927070436653 (927.0 GB)  TX bytes:9044544515174 (9.0 TB)
          Память:fbae0000-fbafffff

enp1s0f1  Link encap:Ethernet  HWaddr 00:25:90:68:49:41
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:2760271306 errors:0 dropped:29880 overruns:57 frame:0
          TX packets:6102778942 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:183330472813 (183.3 GB)  TX bytes:9051056494800 (9.0 TB)
          Память:fba60000-fba7ffff

enp2s0    Link encap:Ethernet  HWaddr 00:15:17:0e:60:1e
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:52733718 errors:0 dropped:12 overruns:0 frame:0
          TX packets:6125226668 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:4601503685 (4.6 GB)  TX bytes:9108626810538 (9.1 TB)
          Interrupt:76 Память:fbbe0000-fbc00000

enp6s0f0  Link encap:Ethernet  HWaddr 00:25:90:6c:1b:70
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:29881 errors:0 dropped:29881 overruns:0 frame:0
          TX packets:6086220730 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:5709676 (5.7 MB)  TX bytes:9051684168481 (9.0 TB)
          Interrupt:26 Память:fade0000-fae00000

enp6s0f1  Link encap:Ethernet  HWaddr 00:25:90:6c:1b:71
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:43085 errors:0 dropped:29882 overruns:0 frame:0
          TX packets:6085807781 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:6568664 (6.5 MB)  TX bytes:9050907287687 (9.0 TB)
          Interrupt:28 Память:fad80000-fada0000

enp7s0f0  Link encap:Ethernet  HWaddr 00:25:90:6c:1b:72
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:29881 errors:0 dropped:29881 overruns:0 frame:0
          TX packets:6090693070 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:5709676 (5.7 MB)  TX bytes:9057524407828 (9.0 TB)
          Interrupt:28 Память:faee0000-faf00000

enp7s0f1  Link encap:Ethernet  HWaddr 00:25:90:6c:1b:73
          UP BROADCAST RUNNING SLAVE MULTICAST  MTU:1500  Metric:1
          RX packets:29880 errors:0 dropped:29879 overruns:0 frame:0
          TX packets:6110287205 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000
          RX bytes:5709612 (5.7 MB)  TX bytes:9086371622179 (9.0 TB)
          Interrupt:81 Память:fae80000-faea0000

lo        Link encap:Локальная петля (Loopback)
          inet addr:127.0.0.1  Mask:255.0.0.0
          inet6 addr: ::1/128 Scope:Host
          UP LOOPBACK RUNNING  MTU:65536  Metric:1
          RX packets:5097155 errors:0 dropped:0 overruns:0 frame:0
          TX packets:5097155 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1
          RX bytes:795310408 (795.3 MB)  TX bytes:795310408 (795.3 MB)

usb@server:~$ ls -l /proc/irq/
итого 0
dr-xr-xr-x 2 root root 0 Дек  9 10:21 0
dr-xr-xr-x 3 root root 0 Дек  9 10:21 1
dr-xr-xr-x 2 root root 0 Дек  9 10:21 10
dr-xr-xr-x 2 root root 0 Дек  9 10:21 11
dr-xr-xr-x 3 root root 0 Дек  9 10:21 12
dr-xr-xr-x 2 root root 0 Дек  9 10:21 13
dr-xr-xr-x 2 root root 0 Дек  9 10:21 14
dr-xr-xr-x 2 root root 0 Дек  9 10:21 15
dr-xr-xr-x 3 root root 0 Дек  9 10:21 16
dr-xr-xr-x 4 root root 0 Дек  9 10:21 18
dr-xr-xr-x 4 root root 0 Дек  9 10:21 19
dr-xr-xr-x 2 root root 0 Дек  9 10:21 2
dr-xr-xr-x 3 root root 0 Дек  9 10:21 21
dr-xr-xr-x 4 root root 0 Дек  9 10:21 23
dr-xr-xr-x 2 root root 0 Дек  9 10:21 3
dr-xr-xr-x 3 root root 0 Дек  9 10:21 30
dr-xr-xr-x 3 root root 0 Дек  9 10:21 31
dr-xr-xr-x 3 root root 0 Дек  9 10:21 32
dr-xr-xr-x 3 root root 0 Дек  9 10:21 33
dr-xr-xr-x 3 root root 0 Дек  9 10:21 34
dr-xr-xr-x 3 root root 0 Дек  9 10:21 35
dr-xr-xr-x 2 root root 0 Дек  9 10:21 4
dr-xr-xr-x 3 root root 0 Дек  9 10:21 47
dr-xr-xr-x 2 root root 0 Дек  9 10:21 48
dr-xr-xr-x 3 root root 0 Дек  9 10:21 49
dr-xr-xr-x 2 root root 0 Дек  9 10:21 5
dr-xr-xr-x 3 root root 0 Дек  9 10:21 50
dr-xr-xr-x 3 root root 0 Дек  9 10:21 51
dr-xr-xr-x 3 root root 0 Дек  9 10:21 52
dr-xr-xr-x 3 root root 0 Дек  9 10:21 53
dr-xr-xr-x 3 root root 0 Дек  9 10:21 54
dr-xr-xr-x 3 root root 0 Дек  9 10:21 55
dr-xr-xr-x 3 root root 0 Дек  9 10:21 56
dr-xr-xr-x 3 root root 0 Дек  9 10:21 58
dr-xr-xr-x 3 root root 0 Дек  9 10:21 59
dr-xr-xr-x 2 root root 0 Дек  9 10:21 6
dr-xr-xr-x 3 root root 0 Дек  9 10:21 60
dr-xr-xr-x 3 root root 0 Дек  9 10:21 61
dr-xr-xr-x 3 root root 0 Дек  9 10:21 62
dr-xr-xr-x 3 root root 0 Дек  9 10:21 63
dr-xr-xr-x 3 root root 0 Дек  9 10:21 64
dr-xr-xr-x 3 root root 0 Дек  9 10:21 65
dr-xr-xr-x 3 root root 0 Дек  9 10:21 66
dr-xr-xr-x 3 root root 0 Дек  9 10:21 68
dr-xr-xr-x 3 root root 0 Дек  9 10:21 69
dr-xr-xr-x 2 root root 0 Дек  9 10:21 7
dr-xr-xr-x 3 root root 0 Дек  9 10:21 70
dr-xr-xr-x 3 root root 0 Дек  9 10:21 71
dr-xr-xr-x 3 root root 0 Дек  9 10:21 72
dr-xr-xr-x 3 root root 0 Дек  9 10:21 73
dr-xr-xr-x 3 root root 0 Дек  9 10:21 74
dr-xr-xr-x 3 root root 0 Дек  9 10:21 75
dr-xr-xr-x 3 root root 0 Дек  9 10:21 77
dr-xr-xr-x 3 root root 0 Дек  9 10:21 78
dr-xr-xr-x 3 root root 0 Дек  9 10:21 79
dr-xr-xr-x 3 root root 0 Дек  9 10:21 8
dr-xr-xr-x 3 root root 0 Дек  9 10:21 80
dr-xr-xr-x 3 root root 0 Дек  9 10:21 82
dr-xr-xr-x 3 root root 0 Дек  9 10:21 84
dr-xr-xr-x 3 root root 0 Дек  9 10:21 86
dr-xr-xr-x 3 root root 0 Дек  9 10:21 88
dr-xr-xr-x 3 root root 0 Дек  9 10:21 9
dr-xr-xr-x 3 root root 0 Дек  9 10:21 90
dr-xr-xr-x 3 root root 0 Дек  9 10:21 91
dr-xr-xr-x 3 root root 0 Дек  9 10:21 92
dr-xr-xr-x 3 root root 0 Дек  9 10:21 93
dr-xr-xr-x 3 root root 0 Дек  9 10:21 94
-rw-r--r-- 1 root root 0 Дек  9 10:21 default_smp_affinity

4
  • сколько процессоров ? 9 дек 2016 в 7:09
  • 1. Intel(R) Xeon(R) CPU E5606 @ 2.13GHz 9 дек 2016 в 7:22
  • приложите результат ls -l /proc/irq/ в вопрос, пожалуйста 9 дек 2016 в 7:28
  • Сделал. Прикрепил. 9 дек 2016 в 8:22

2 ответа 2

5

чтобы раскидать прерывания по процессорам, нужно выполнить

echo N > /proc/irq/X/smp_affinity

, где N это маска процессора (определяет какому процессору достанется прерывание),

а X — номер прерывания, виден в первом столбце вывода /proc/interrupts.

Чтобы определить маску процессора, нужно возвести 2 в степень cpu_N (номер процессора) и перевести в шестнадцатиричную систему.

При помощи bc вычисляется так: echo "obase=16; $[2 ** $cpu_N]" | bc.

Примеры:

#CPU0
echo 1 > /proc/irq/1/smp_affinity
echo 1 > /proc/irq/2/smp_affinity    
echo 1 > /proc/irq/3/smp_affinity
echo 1 > /proc/irq/4/smp_affinity

#CPU1
echo 2 > /proc/irq/48/smp_affinity
echo 2 > /proc/irq/61/smp_affinity
echo 2 > /proc/irq/49/smp_affinity
echo 2 > /proc/irq/62/smp_affinity

#CPU2
echo 4 > /proc/irq/50/smp_affinity
echo 4 > /proc/irq/55/smp_affinity
echo 4 > /proc/irq/51/smp_affinity
echo 4 > /proc/irq/56/smp_affinity

#CPU3
echo 8 > /proc/irq/52/smp_affinity
echo 8 > /proc/irq/57/smp_affinity
echo 8 > /proc/irq/53/smp_affinity
echo 8 > /proc/irq/58/smp_affinity

Можно многое писать, но не буду. также влияет задержка между прерываниями. Ее можно тюнинговать в нужные моменты, например, в час-пик. чем меньше- тем лучше(но нагрузка на проц растет)

Источник, где хорошо все рассказывается.

Также можно автоматом неплохо раскидать скриптом

ncpus=`grep -ciw ^processor /proc/cpuinfo`
test "$ncpus" -gt 1 || exit 1

n=0
for irq in `cat /proc/interrupts | grep eth | awk '{print $1}' | sed s/\://g`
do
    f="/proc/irq/$irq/smp_affinity"
    test -r "$f" || continue
    cpu=$[$ncpus - ($n % $ncpus) - 1]
    if [ $cpu -ge 0 ]
            then
                mask=`printf %x $[2 ** $cpu]`
                echo "Assign SMP affinity: eth$n, irq $irq, cpu $cpu, mask 0x$mask"
                echo "$mask" > "$f"
                let n+=1
    fi
done

Ответ на то, почему падает при 7Гигабит достаточно сложен. Тут нужно смотреть на swap(swap - это зло), свободная память, также ошибки broken pipe. Нужно тюнинговать все и привести к минимуму (включение RFS может резко снижать количество broken pipe).

0
4

Как не большое дополнение, к предыдущему ответу, количество cpu на серверах растёт.

Для серверов где большое количество CPU, больше 32, bc округляет значение, в итоге не верно расчитывается шестнадцатиричное значение. Нужно использовать любой язык программирования, который поддерживает работу с большими числами. В perl, к примеру можно подключить модуль bignum или bigrat

use bignum;

$mask = (2**$cpu);
$mask = `echo "obase=16; $cpu"|bc`; chomp $mask;

можно сделать вызов однострочником:

perl -Mbignum -le 'print 2**$cpu'

и после 31 cpu - нужно разделять шестнадцатиричное значение каждые 8 символов с конца

if ($cpu >= 32){
        while($mask =~ s/([[:xdigit:]]+)([[:xdigit:]]{8})/$1,$2/){};
}

Иначе ОС будет ругаться на неверное значение

Ваш ответ

Нажимая на кнопку «Отправить ответ», вы соглашаетесь с нашими условиями использования и подтверждаете, что прочитали и поняли наши политику конфиденциальности и нормы поведения.

Всё ещё ищете ответ? Посмотрите другие вопросы с метками или задайте свой вопрос.