Table of Contents

Быстрые заметки по сетевому оборудованию Mellanox

Добавить порт в работающий mpo порт

FIXME

   interface mlag-port-channel 1-2
   interface mlag-port-channel 1-2 mtu 9216 force
   interface mlag-port-channel 2 switchport mode trunk

   interface mlag-port-channel 2 switchport trunk allowed-vlan add 3050
   interface mlag-port-channel 2 switchport trunk allowed-vlan remove 1
brv-mlnx15 [MLAG-DOM4: master] (config) # interface ethernet 1/8 mlag-channel-group 2 mode active ?
<cr>                           
brv-mlnx15 [MLAG-DOM4: master] (config) # interface ethernet 1/8 mlag-channel-group 2 mode active 
% Mismatch between interface Eth1/8 mtu 1500 to mlag-port-channel 2 mtu 9216

brv-mlnx15 [MLAG-DOM4: master] (config) # interface ethernet 1/8 mtu 9216 force 

brv-mlnx15 [MLAG-DOM4: master] (config) # interface ethernet 1/8 mlag-channel-group 2 mode active 
% Port Eth1/8 mode is access and mlag 2 mode is trunk

brv-mlnx15 [MLAG-DOM4: master] (config) # interface ethernet 1/8 switchport mode ?
<switchport modes>             
access                         Only untagged ingress Ethernet packets are allowed
trunk                          Only tagged ingress Ethernet packets are allowed
hybrid                         Both tagged and untagged ingress Ethernet packets are allowed
access-dcb                     Only untagged ingress Ethernet packets are allowed. Egress packets will be priority tagged
dot1q-tunnel                   Both tagged and untagged ingress Ethernet packets are allowed. Egress packets are tagged with a second VLAN (802.1Q) header

brv-mlnx15 [MLAG-DOM4: master] (config) # interface ethernet 1/8 switchport mode trunk ?
<cr>                           
brv-mlnx15 [MLAG-DOM4: master] (config) # interface ethernet 1/8 switchport mode trunk 

brv-mlnx15 [MLAG-DOM4: master] (config) # interface ethernet 1/8 mlag-channel-group 2 mode active 
% Port Eth1/8 is member of vlan 2 but mlag 2 is not member

brv-mlnx15 [MLAG-DOM4: master] (config) # sh interfaces ethernet 1/8 switchport 

---------------------------------------------------------------------------------------
Interface         Mode           Access vlan          Allowed vlans                    
---------------------------------------------------------------------------------------
Eth1/8            trunk          N/A                  1-2, 4, 6, 8-10, 14-16, 18-20, 23

brv-mlnx15 [MLAG-DOM4: master] (config) # sh interfaces mlag-port-channel 2 switchport 

---------------------------------------------------------------------------------------
Interface         Mode           Access vlan          Allowed vlans                    
---------------------------------------------------------------------------------------
Mpo2              trunk          N/A                  3050


brv-mlnx15 [MLAG-DOM4: master] (config) # interface ethernet 1/8 switchport trunk allowed-vlan remove 1
Добавились все вланы в 1/8, а нужно только 3050
   interface mlag-port-channel 1 switchport trunk allowed-vlan add 2
   interface mlag-port-channel 1 switchport trunk allowed-vlan add 4
   interface mlag-port-channel 1 switchport trunk allowed-vlan add 6
   interface mlag-port-channel 1 switchport trunk allowed-vlan add 9-10
   interface mlag-port-channel 1 switchport trunk allowed-vlan add 14-16

Даём один влан (без remove или add) или можно через remove оставить только нужные влан. 
brv-mlnx15 [MLAG-DOM4: master] (config) # interface ethernet 1/8 switchport trunk allowed-vlan 3050

Переделываем на add схему. 
brv-mlnx15 [MLAG-DOM4: master] (config) # interface ethernet 1/8 switchport trunk allowed-vlan add 3050
brv-mlnx15 [MLAG-DOM4: master] (config) # interface ethernet 1/8 switchport trunk allowed-vlan remove1
% Value must be an integer between 1 and 4094.
brv-mlnx15 [MLAG-DOM4: master] (config) # interface ethernet 1/8 switchport trunk allowed-vlan remove 1
% Cannot remove vlan or vlan range, there are vlans that are not in the allowed vlan list.

После этого можно добавить 1/8 в mpo2
brv-mlnx15 [MLAG-DOM4: master] (config) # interface ethernet 1/8 mlag-channel-group 2 mode active

Неродные трансиверы

Дописать.

Команда “fae cable-stamping-unlock 40g_lr4” на 12 секунгд положила и подняла порты, включая IPL порты.
В проде давать команду очень вдумчиво.

Неродные 10Г (NS-SFP+W32L60D) работают без дополнительных команд.

brv-mlnx16 [MLAG-DOM4: standby] (config) # fae cable-?
cable-info-cache               Cable info cache options
cable-stamping-lock            Lock cable stamping
cable-stamping-unlock          Unlock cable stamping
brv-mlnx16 [MLAG-DOM4: standby] (config) # fae cable-stamping-?
cable-stamping-lock            Lock cable stamping
cable-stamping-unlock          Unlock cable stamping
brv-mlnx16 [MLAG-DOM4: standby] (config) # fae cable-stamping-unlock ?
<type>                         Cable or transceiver speed
40g_lr4                        
eth_100g                       
100g_lr4                       
eth_sfp_25g                    
brv-mlnx16 [MLAG-DOM4: standby] (config) # fae cable-stamping-unlock 40g_lr4 ?
<cr>                           Unlock non-Mellanox cable or transceiver
brv-mlnx16 [MLAG-DOM4: standby] (config) # fae cable-stamping-unlock 40g_lr4 

Выключить сплит интферфейса

Порт 1 разбит на 4 25Г порта.

interface ethernet 1/1 module-type qsfp-split-4 force

Собрать в один 100Г порт, в качестве номера порта используем первый из четырех разбитых портов.

brv-mlnx16 [MLAG-DOM4: standby] (config) # no interface ethernet 1/1/1 module-type ?
<cr>                           
force                          Sets the module type to its default value using force
brv-mlnx16 [MLAG-DOM4: standby] (config) # no interface ethernet 1/1/1 module-type 
the following interfaces will be unmapped: 1/1/1 1/1/2 1/1/3 1/1/4 
Type 'YES' to confirm unsplit:

Собрать в один 100Г порт без лишних вопросов.

brv-mlnx16 [MLAG-DOM4: standby] (config) # no interface ethernet 1/1/1 module-type force 
the following interfaces will be unmapped: 1/1/1 1/1/2 1/1/3 1/1/4

Обозначение направлений воздуха у Mellanox

C2P – Connector-to-Power supply airflow - от портов к БП
P2C – Power supply-to-Connector airflow - от БП к портам
MSN2100-CB2F
Spectrum™ based 100GbE 1U Open Ethernet Switch with MLNX-OS, 16 QSFP28 ports, 
2 Power Supplies (AC), x86 dual core, Short depth, 
P2C airflow, Rail Kit must be purchased separately ,RoHS6

Выключить коммутатор

Выключиь коммутатор можно командо “reload halt”.
После этого включить коммутатор удаленно не получится, надо дергать питание.

D01-1-102-SW1-MLX-D02 [standalone: master] # reload ?
force      halt       noconfirm  

D01-1-102-SW1-MLX-D02 [standalone: master] # reload halt ?
<cr>                           Shut down the system
noconfirm                      Shut down the system without asking about
                               unsaved changes
D01-1-102-SW1-MLX-D02 [standalone: master] # reload halt 


Halting system...


System shutdown initiated -- logging off.



Mellanox MLNX-OS Switch Management

D01-1-102-SW1-MLX-D02 login: 
Stopping pm: [  OK  ]
Stopping haveged: [  OK  ]
Stopping system message bus: [  OK  ]
Shutting down kernel logger: [  OK  ]
Shutting down system logger: [  OK  ]
Sending all processes the TERM signal... [  OK  ]
Sending all processes the KILL signal... [  OK  ]
Remounting root filesystem in read-write mode: 
Saving random seed:  [  OK  ]
Syncing hardware clock to system time [  OK  ]
Running vpart script:  [  OK  ]
Unmounting file systems:  [  OK  ]
Remounting root filesystem in read-only mode: 
Running vpart script: 
init: Re-executing /sbin/init
Halting system...

Состояния конфигурации при апгрейде и даунгрейде MLNX-OS\Onyx

Общие положения о состояниях конфигурации:

  1. При апгрейде сохраняется текущая конфигурация коммутатора.
    Конфигурация сохраняется в момент выполнения команды “image boot next”.
  2. При даунгрейде, коммутатор возвращается к конфигурации, которая была на момент апгрейда (!!).
    При этом не важно сколько изменений уже было сделано на более новой версии софта, всегда будет возврат к “старой” конфигурации.
    Такое поведение опасно, можно слишком далеко вернуться и, например, привести в нерабочее состояние MLAG-пару. При этом нельзя заранее посмотреть на какую конфигурацию будет сделан даунгрейд.
    При апгрейдах крайне желательно записывать когда и с какой конфигурации обновлялись.
  3. Если после даунгрейда состояние конфига не устроит, слишком много изменений уже было сделано, и захочется вернуться на версию с которой даунгрейдились, то это не получится, см. пункт 1.
    При выполнении команды “image boot next” сохранится текущая конфигурация.
    Восстановить конфигурацию можно только вбив её заново или перезалив.

Рассмотрим на примере.
Есть коммутатор SN2100 который тестово обновили до 3.6.8100 через одну промежуточную версию.
3.6.5011 –> 3.6.6000 –> 3.6.8100
А потом сделали даунгрейд с 3.6.8100 обратно до 3.6.5011.
После каждого обновления делались небольшие изменения в конфигурации по которым можно было отследить на какую версию шел откат при даунгрейде.

В итоге получилась такая схема переходов состояний конфигураций при обновлении и смене загрузочных разделов.

Видно, что при даунгрейде всегда идет откат на версию софта, которая была на момент апгрейда.


Перезагрузка коммутатора работающего на ONYX

Коммутатор не спрашивает подтверждения перезагрузки, а сразу делает её.
Версия:

mlnx21 [standalone: master] (config) # sh version 
Product name:      Onyx
Product release:   3.6.8008
...
mlnx21 [standalone: master] # reload 


Rebooting...


System shutdown initiated -- logging off.


Mellanox Onyx Switch Management
mlnx21 login: [ 3570.134455] mst[10648]: Stopping MST (Mellanox Software Tools) driver set
[ 3570.252954] mst[10648]: Unloading MST PCI configuration module - Success
[ 3570.262534] mst[10648]: Unloading MST PCI module - Success

“[ 3570.262534]” - это аптайм коммутатора в секундах.

Варианты reload:

mlnx21 [standalone: master] # reload ?
<cr>                           Reboot the system
force                          Force an expedited reboot of the system even if
                               it's busy
halt                           Shut down the system
noconfirm                      Reboot the system without asking about unsaved
                               changes

Выключить коммутатор работающий на ONYX

После выключения включить можно только дернув питание, на консоль не реагирует.

TEST1-MLNX22-TEST1 [standalone: master] # reload halt 
Configuration has been modified; save first? [yes] y
Configuration changes saved.
Halting system...
TEST1-MLNX22-TEST1 [standalone: master] # 

System shutdown initiated -- logging off.

Mellanox MLNX-OS Switch Management

TEST1-MLNX22-TEST1 login: 
Stopping pm: [  OK  ]
Stopping haveged: [  OK  ]
Stopping system message bus: [  OK  ]
Shutting down kernel logger: [  OK  ]
Shutting down system logger: [  OK  ]
Sending all processes the TERM signal... [  OK  ]
Sending all processes the KILL signal... [  OK  ]
Remounting root filesystem in read-write mode: 
Saving random seed:  [  OK  ]
Syncing hardware clock to system time [  OK  ]
Running vpart script:  [  OK  ]
Unmounting file systems:  [  OK  ]
Remounting root filesystem in read-only mode: 
Running vpart script: 
init: Re-executing /sbin/init
Halting system...

Состояние SFP на выключенном порту

Даже если порт в shutdown, все равно можно посмотреть уровни оптических сигналов.

# sh interfaces status 
-----------------------------------------------------------------------------------------------------------

Port                Oper State          Admin     Speed          Description                             
-----------------------------------------------------------------------------------------------------------
mgmt0               Up                  Enabled   1000Mb/s (auto)-
...
Eth1/10             Down                Disabled  10 Gbps        xxx
...

# sh interfaces ethernet 1/10 transceiver diagnostics 
Port 1/10 transceiver diagnostic data:
   Temperature (-127C to +127C) 
        Temperature                   : 34 C
        Hi Temp Alarm Thresh          : 80 C
        Low Temp Alarm Thresh         : -10 C
        Temperature Alarm             : None 

   Voltage ( 0 to 6.5535 V) 
        Voltage                       : 3.21990 V
        Hi Volt Alarm Thresh          : 3.79990 V
        Low Volt Alarm Thresh         : 2.79990 V
        Voltage Alarm                 : None 

   Tx Bias Current ( 0 to 131 mA) 
        Ch1 Tx Current                : 37.73400 mA
        Hi Tx Crnt Alarm Thresh       : 80.00000 mA
        Low Tx Crnt Alarm Thresh      : 5.00000 mA
        Ch1 Tx Current Alarm          : None 

   Tx Power ( 0 mW to 6.5535 mW / 8.1647 dBm) 
        Ch1 Tx Power                  : 2.15520 mW / 3.33488 dBm
        Hi Tx Power Alarm Thresh      : 5.01180 mW / 6.99994 dBm
        Low Tx Power Alarm Thresh     : 0.79430 mW / -1.00015 dBm
        Ch1 Tx Power Alarm            : None 

   Rx Power ( 0 mW to 6.5535 mW / 8.1647 dBm) 
        Ch1 Rx Power                  : 0.00260 mW / -25.85027 dBm
        Hi Rx Power Alarm Thresh      : 0.25110 mW / -6.00153 dBm
        Low Rx Power Alarm Thresh     : 0.00250 mW / -26.02060 dBm
        Ch1 Rx Power Alarm            : None 

        Vendor Date Code (dd-mm-yyyy) : 05-03-2019

Посмотреть серийный номер железки

m9-mlnx92 [MLAG-DOM11: master] # sh inventory 
-----------------------------------------------------------------------------
Module           Part Number        Serial Number        Asic Rev.    HW Rev.
-----------------------------------------------------------------------------
CHASSIS          MSN2100-CB2F       MT1745K00000         N/A          AD
MGMT             MSN2100-CB2F       MT1745K00000         0            AD

Время загрузки MLNX-0S

MLNX-OS версии 3.6.4112 в режиме MLAG загружается за 3 минуты 30 секунд (+-5 секунд).
Не в MLAG режиме загружается примерно за 1 минуту.