Table of Contents
Быстрые заметки по сетевому оборудованию Mellanox
Удалить настройки sflow c интерфейса
interface mlag-port-channel 1 no sflow enable
“no” ставим перед “sflow”, а не перед “interface”.
Добавить порт в работающий mpo порт
interface mlag-port-channel 1-2 interface mlag-port-channel 1-2 mtu 9216 force interface mlag-port-channel 2 switchport mode trunk interface mlag-port-channel 2 switchport trunk allowed-vlan add 3050 interface mlag-port-channel 2 switchport trunk allowed-vlan remove 1
brv-mlnx15 [MLAG-DOM4: master] (config) # interface ethernet 1/8 mlag-channel-group 2 mode active ? <cr> brv-mlnx15 [MLAG-DOM4: master] (config) # interface ethernet 1/8 mlag-channel-group 2 mode active % Mismatch between interface Eth1/8 mtu 1500 to mlag-port-channel 2 mtu 9216 brv-mlnx15 [MLAG-DOM4: master] (config) # interface ethernet 1/8 mtu 9216 force brv-mlnx15 [MLAG-DOM4: master] (config) # interface ethernet 1/8 mlag-channel-group 2 mode active % Port Eth1/8 mode is access and mlag 2 mode is trunk brv-mlnx15 [MLAG-DOM4: master] (config) # interface ethernet 1/8 switchport mode ? <switchport modes> access Only untagged ingress Ethernet packets are allowed trunk Only tagged ingress Ethernet packets are allowed hybrid Both tagged and untagged ingress Ethernet packets are allowed access-dcb Only untagged ingress Ethernet packets are allowed. Egress packets will be priority tagged dot1q-tunnel Both tagged and untagged ingress Ethernet packets are allowed. Egress packets are tagged with a second VLAN (802.1Q) header brv-mlnx15 [MLAG-DOM4: master] (config) # interface ethernet 1/8 switchport mode trunk ? <cr> brv-mlnx15 [MLAG-DOM4: master] (config) # interface ethernet 1/8 switchport mode trunk brv-mlnx15 [MLAG-DOM4: master] (config) # interface ethernet 1/8 mlag-channel-group 2 mode active % Port Eth1/8 is member of vlan 2 but mlag 2 is not member brv-mlnx15 [MLAG-DOM4: master] (config) # sh interfaces ethernet 1/8 switchport --------------------------------------------------------------------------------------- Interface Mode Access vlan Allowed vlans --------------------------------------------------------------------------------------- Eth1/8 trunk N/A 1-2, 4, 6, 8-10, 14-16, 18-20, 23 brv-mlnx15 [MLAG-DOM4: master] (config) # sh interfaces mlag-port-channel 2 switchport --------------------------------------------------------------------------------------- Interface Mode Access vlan Allowed vlans --------------------------------------------------------------------------------------- Mpo2 trunk N/A 3050 brv-mlnx15 [MLAG-DOM4: master] (config) # interface ethernet 1/8 switchport trunk allowed-vlan remove 1 Добавились все вланы в 1/8, а нужно только 3050 interface mlag-port-channel 1 switchport trunk allowed-vlan add 2 interface mlag-port-channel 1 switchport trunk allowed-vlan add 4 interface mlag-port-channel 1 switchport trunk allowed-vlan add 6 interface mlag-port-channel 1 switchport trunk allowed-vlan add 9-10 interface mlag-port-channel 1 switchport trunk allowed-vlan add 14-16 Даём один влан (без remove или add) или можно через remove оставить только нужные влан. brv-mlnx15 [MLAG-DOM4: master] (config) # interface ethernet 1/8 switchport trunk allowed-vlan 3050 Переделываем на add схему. brv-mlnx15 [MLAG-DOM4: master] (config) # interface ethernet 1/8 switchport trunk allowed-vlan add 3050 brv-mlnx15 [MLAG-DOM4: master] (config) # interface ethernet 1/8 switchport trunk allowed-vlan remove1 % Value must be an integer between 1 and 4094. brv-mlnx15 [MLAG-DOM4: master] (config) # interface ethernet 1/8 switchport trunk allowed-vlan remove 1 % Cannot remove vlan or vlan range, there are vlans that are not in the allowed vlan list. После этого можно добавить 1/8 в mpo2 brv-mlnx15 [MLAG-DOM4: master] (config) # interface ethernet 1/8 mlag-channel-group 2 mode active
Неродные трансиверы
Дописать.
Команда “fae cable-stamping-unlock 40g_lr4” на 12 секунгд положила и подняла порты, включая IPL порты.
В проде давать команду очень вдумчиво.
Неродные 10Г (NS-SFP+W32L60D) работают без дополнительных команд.
brv-mlnx16 [MLAG-DOM4: standby] (config) # fae cable-? cable-info-cache Cable info cache options cable-stamping-lock Lock cable stamping cable-stamping-unlock Unlock cable stamping brv-mlnx16 [MLAG-DOM4: standby] (config) # fae cable-stamping-? cable-stamping-lock Lock cable stamping cable-stamping-unlock Unlock cable stamping brv-mlnx16 [MLAG-DOM4: standby] (config) # fae cable-stamping-unlock ? <type> Cable or transceiver speed 40g_lr4 eth_100g 100g_lr4 eth_sfp_25g brv-mlnx16 [MLAG-DOM4: standby] (config) # fae cable-stamping-unlock 40g_lr4 ? <cr> Unlock non-Mellanox cable or transceiver brv-mlnx16 [MLAG-DOM4: standby] (config) # fae cable-stamping-unlock 40g_lr4
Выключить сплит интферфейса
Порт 1 разбит на 4 25Г порта.
interface ethernet 1/1 module-type qsfp-split-4 force
Собрать в один 100Г порт, в качестве номера порта используем первый из четырех разбитых портов.
brv-mlnx16 [MLAG-DOM4: standby] (config) # no interface ethernet 1/1/1 module-type ? <cr> force Sets the module type to its default value using force brv-mlnx16 [MLAG-DOM4: standby] (config) # no interface ethernet 1/1/1 module-type the following interfaces will be unmapped: 1/1/1 1/1/2 1/1/3 1/1/4 Type 'YES' to confirm unsplit:
Собрать в один 100Г порт без лишних вопросов.
brv-mlnx16 [MLAG-DOM4: standby] (config) # no interface ethernet 1/1/1 module-type force the following interfaces will be unmapped: 1/1/1 1/1/2 1/1/3 1/1/4
Обозначение направлений воздуха у Mellanox
C2P – Connector-to-Power supply airflow - от портов к БП P2C – Power supply-to-Connector airflow - от БП к портам
MSN2100-CB2F Spectrum™ based 100GbE 1U Open Ethernet Switch with MLNX-OS, 16 QSFP28 ports, 2 Power Supplies (AC), x86 dual core, Short depth, P2C airflow, Rail Kit must be purchased separately ,RoHS6
Выключить коммутатор
Выключиь коммутатор можно командо “reload halt”.
После этого включить коммутатор удаленно не получится, надо дергать питание.
D01-1-102-SW1-MLX-D02 [standalone: master] # reload ?
force halt noconfirm
D01-1-102-SW1-MLX-D02 [standalone: master] # reload halt ?
<cr> Shut down the system
noconfirm Shut down the system without asking about
unsaved changes
D01-1-102-SW1-MLX-D02 [standalone: master] # reload halt
Halting system...
System shutdown initiated -- logging off.
Mellanox MLNX-OS Switch Management
D01-1-102-SW1-MLX-D02 login:
Stopping pm: [ OK ]
Stopping haveged: [ OK ]
Stopping system message bus: [ OK ]
Shutting down kernel logger: [ OK ]
Shutting down system logger: [ OK ]
Sending all processes the TERM signal... [ OK ]
Sending all processes the KILL signal... [ OK ]
Remounting root filesystem in read-write mode:
Saving random seed: [ OK ]
Syncing hardware clock to system time [ OK ]
Running vpart script: [ OK ]
Unmounting file systems: [ OK ]
Remounting root filesystem in read-only mode:
Running vpart script:
init: Re-executing /sbin/init
Halting system...
Состояния конфигурации при апгрейде и даунгрейде MLNX-OS\Onyx
Общие положения о состояниях конфигурации:
- При апгрейде сохраняется текущая конфигурация коммутатора.
Конфигурация сохраняется в момент выполнения команды “image boot next”. - При даунгрейде, коммутатор возвращается к конфигурации, которая была на момент апгрейда (!!).
При этом не важно сколько изменений уже было сделано на более новой версии софта, всегда будет возврат к “старой” конфигурации.
Такое поведение опасно, можно слишком далеко вернуться и, например, привести в нерабочее состояние MLAG-пару. При этом нельзя заранее посмотреть на какую конфигурацию будет сделан даунгрейд.
При апгрейдах крайне желательно записывать когда и с какой конфигурации обновлялись. - Если после даунгрейда состояние конфига не устроит, слишком много изменений уже было сделано, и захочется вернуться на версию с которой даунгрейдились, то это не получится, см. пункт 1.
При выполнении команды “image boot next” сохранится текущая конфигурация.
Восстановить конфигурацию можно только вбив её заново или перезалив.
Рассмотрим на примере.
Есть коммутатор SN2100 который тестово обновили до 3.6.8100 через одну промежуточную версию.
3.6.5011 –> 3.6.6000 –> 3.6.8100
А потом сделали даунгрейд с 3.6.8100 обратно до 3.6.5011.
После каждого обновления делались небольшие изменения в конфигурации по которым можно было отследить на какую версию шел откат при даунгрейде.
В итоге получилась такая схема переходов состояний конфигураций при обновлении и смене загрузочных разделов.
Видно, что при даунгрейде всегда идет откат на версию софта, которая была на момент апгрейда.
Перезагрузка коммутатора работающего на ONYX
Коммутатор не спрашивает подтверждения перезагрузки, а сразу делает её.
Версия:
mlnx21 [standalone: master] (config) # sh version Product name: Onyx Product release: 3.6.8008 ...
mlnx21 [standalone: master] # reload Rebooting... System shutdown initiated -- logging off. Mellanox Onyx Switch Management mlnx21 login: [ 3570.134455] mst[10648]: Stopping MST (Mellanox Software Tools) driver set [ 3570.252954] mst[10648]: Unloading MST PCI configuration module - Success [ 3570.262534] mst[10648]: Unloading MST PCI module - Success
“[ 3570.262534]” - это аптайм коммутатора в секундах.
Варианты reload:
mlnx21 [standalone: master] # reload ?
<cr> Reboot the system
force Force an expedited reboot of the system even if
it's busy
halt Shut down the system
noconfirm Reboot the system without asking about unsaved
changes
Выключить коммутатор работающий на ONYX
После выключения включить можно только дернув питание, на консоль не реагирует.
TEST1-MLNX22-TEST1 [standalone: master] # reload halt Configuration has been modified; save first? [yes] y Configuration changes saved. Halting system... TEST1-MLNX22-TEST1 [standalone: master] # System shutdown initiated -- logging off. Mellanox MLNX-OS Switch Management TEST1-MLNX22-TEST1 login: Stopping pm: [ OK ] Stopping haveged: [ OK ] Stopping system message bus: [ OK ] Shutting down kernel logger: [ OK ] Shutting down system logger: [ OK ] Sending all processes the TERM signal... [ OK ] Sending all processes the KILL signal... [ OK ] Remounting root filesystem in read-write mode: Saving random seed: [ OK ] Syncing hardware clock to system time [ OK ] Running vpart script: [ OK ] Unmounting file systems: [ OK ] Remounting root filesystem in read-only mode: Running vpart script: init: Re-executing /sbin/init Halting system...
Состояние SFP на выключенном порту
Даже если порт в shutdown, все равно можно посмотреть уровни оптических сигналов.
# sh interfaces status
-----------------------------------------------------------------------------------------------------------
Port Oper State Admin Speed Description
-----------------------------------------------------------------------------------------------------------
mgmt0 Up Enabled 1000Mb/s (auto)-
...
Eth1/10 Down Disabled 10 Gbps xxx
...
# sh interfaces ethernet 1/10 transceiver diagnostics
Port 1/10 transceiver diagnostic data:
Temperature (-127C to +127C)
Temperature : 34 C
Hi Temp Alarm Thresh : 80 C
Low Temp Alarm Thresh : -10 C
Temperature Alarm : None
Voltage ( 0 to 6.5535 V)
Voltage : 3.21990 V
Hi Volt Alarm Thresh : 3.79990 V
Low Volt Alarm Thresh : 2.79990 V
Voltage Alarm : None
Tx Bias Current ( 0 to 131 mA)
Ch1 Tx Current : 37.73400 mA
Hi Tx Crnt Alarm Thresh : 80.00000 mA
Low Tx Crnt Alarm Thresh : 5.00000 mA
Ch1 Tx Current Alarm : None
Tx Power ( 0 mW to 6.5535 mW / 8.1647 dBm)
Ch1 Tx Power : 2.15520 mW / 3.33488 dBm
Hi Tx Power Alarm Thresh : 5.01180 mW / 6.99994 dBm
Low Tx Power Alarm Thresh : 0.79430 mW / -1.00015 dBm
Ch1 Tx Power Alarm : None
Rx Power ( 0 mW to 6.5535 mW / 8.1647 dBm)
Ch1 Rx Power : 0.00260 mW / -25.85027 dBm
Hi Rx Power Alarm Thresh : 0.25110 mW / -6.00153 dBm
Low Rx Power Alarm Thresh : 0.00250 mW / -26.02060 dBm
Ch1 Rx Power Alarm : None
Vendor Date Code (dd-mm-yyyy) : 05-03-2019
Посмотреть серийный номер железки
m9-mlnx92 [MLAG-DOM11: master] # sh inventory ----------------------------------------------------------------------------- Module Part Number Serial Number Asic Rev. HW Rev. ----------------------------------------------------------------------------- CHASSIS MSN2100-CB2F MT1745K00000 N/A AD MGMT MSN2100-CB2F MT1745K00000 0 AD
Время загрузки MLNX-0S
MLNX-OS версии 3.6.4112 в режиме MLAG загружается за 3 минуты 30 секунд (+-5 секунд).
Не в MLAG режиме загружается примерно за 1 минуту.