Table des matières

Introduction

Ce document décrit comment dépanner le protocole LACP (Link Aggregation Control Protocol) sur la famille Nexus 9000 Cloudscale.

Conditions préalables

Exigences

Cisco vous recommande d'avoir des connaissances sur les sujets suivants :

- protocole LACP

- Plate-forme NXOS

- arrangement ELAM

- Analyse Ethnique Compréhension

Composants utilisés

Nom

Plateforme

Version

N9K1

N9K-C93108TC-EX

9.3(10)

N9K2

N9K-C93108TC-EX

9.3(10)

The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. Si votre réseau est en ligne, assurez-vous de bien comprendre l’incidence possible des commandes.

Topologie

Vérifier l'état de la liaison LACP

Remarque : état de la liaison LACP de l'image 1.1.

Configurer LACP :

N9K1

N9K2

show run interface port-channel 1 membership

interface port-channel1

switchport

switchport mode trunk

interface Ethernet1/1

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

interface Ethernet1/2

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

show run interface port-channel 1 membership

interface port-channel1

switchport

switchport mode trunk

interface Ethernet1/1

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

interface Ethernet1/2

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

Vérifier l'état du port-channel

N9K1

N9K2

sh port-channel summary interface port-channel 1

Flags:  D - Down        P - Up in port-channel (members)

I - Individual  H - Hot-standby (LACP only)

s - Suspended   r - Module-removed

b - BFD Session Wait

S - Switched    R - Routed

U - Up (port-channel)

p - Up in delay-lacp mode (member)

M - Not in use. Min-links not met

--------------------------------------------------------------------------------

Group Port-       Type     Protocol  Member Ports

Channel

--------------------------------------------------------------------------------

1     Po1(SU)     Eth      LACP      Eth1/1(P)

sh port-channel summary interface port-channel 1

Flags:  D - Down        P - Up in port-channel (members)

I - Individual  H - Hot-standby (LACP only)

s - Suspended   r - Module-removed

b - BFD Session Wait

S - Switched    R - Routed

U - Up (port-channel)

p - Up in delay-lacp mode (member)

M - Not in use. Min-links not met

--------------------------------------------------------------------------------

Group Port-       Type     Protocol  Member Ports

Channel

--------------------------------------------------------------------------------

1     Po1(SU)     Eth      LACP      Eth1/1(P)

Remarque : les scénarios de défaillance les plus courants sont la suspension de l'interface par Nexus, qui est traitée dans la section Interface suspendue LACP.

Vérifier l'interface LACP suspendue

sh port-channel summary interface port-channel 1

Flags:  D - Down        P - Up in port-channel (members)

I - Individual  H - Hot-standby (LACP only)

s - Suspended   r - Module-removed

b - BFD Session Wait

S - Switched    R - Routed

U - Up (port-channel)

p - Up in delay-lacp mode (member)

M - Not in use. Min-links not met

--------------------------------------------------------------------------------

Group Port-       Type     Protocol  Member Ports

Channel

--------------------------------------------------------------------------------

1     Po1(SD)     Eth      LACP      Eth1/1(s)

sh int e1/1 status

--------------------------------------------------------------------------------

Port         Name           Status     Vlan    Duplex   Speed     Type

--------------------------------------------------------------------------------

Eth1/1       --            suspended   trunk    auto     auto   10Gbase-SR

sh int e1/1

Ethernet1/1 is down (suspended(no LACP PDUs))

admin state is up, Dedicated Interface

Belongs to Po1

Hardware: 100/1000/10000/25000 Ethernet, address: 003a.9c08.68ab (bia 003a.9c08.68ab)

MTU 9216 bytes, BW 10000000 Kbit , DLY 10 usec

reliability 255/255, txload 1/255, rxload 1/255

<Snipped>

Remarque : dans ce scénario, Nexus ne reçoit pas de PDU LACP du partenaire, les compteurs d'interfaces LACP peuvent être vérifiés, comme indiqué dans la section : Vérifier que les compteurs d'interface LACP ou les captures de paquets telles que SPAN ou ELAM (décrit dans la section LACP ELAM) peuvent être effectués.

Vérifier les compteurs d'interface LACP

Chaque périphérique doit envoyer et recevoir des LACPDU au même débit pour que le port-channel apparaisse.

N9K1

N9K2

sh lacp counters interface port-channel 1

NOTE: Clear lacp counters to get accurate statistics

------------------------------------------------------------------------------

LACPDUs                      Markers/Resp LACPDUs

Port              Sent                Recv                  Recv Sent  Pkts Err

------------------------------------------------------------------------------

port-channel1

Ethernet1/1        445                  445                    0      0    0

Ethernet1/2        445                  445                    0      0    0

sh lacp counters interface port-channel 1

NOTE: Clear lacp counters to get accurate statistics

------------------------------------------------------------------------------

LACPDUs                      Markers/Resp LACPDUs

Port              Sent                Recv                  Recv Sent  Pkts Err

------------------------------------------------------------------------------

port-channel1

Ethernet1/1        445                  445                    0      0    0

Ethernet1/2        445                  445                    0      0    0

Vérifier les bits d'état LACP Actor

Dans chaque LACP PDU Actor, les informations d'état sont échangées entre le partenaire et l'acteur.

Activité

1 : mode actif

0 : mode passif

Timeout (Délai d’expiration)

1 : Délai d'attente court

0 : Délai d'attente long

Aggregation

1 : Agrégable

0 : Individuel

Synchronisation

1 : synchronisé

0 : désynchronisé

Collecting

1 : Collecte activée

0 : Collecte désactivée

Répartition

1 : Distribution activée

0 : distribution désactivée

Defaulted

1 : Utiliser la valeur par défaut pour le partenaire

0 : utiliser rx LACPDU pour le partenaire

Expired

1 : PDU partenaire expirée

0 : Non expiré

Remarque : Tableau 2.0 Signification des bits d'état acteur

Vérifiez la valeur hexadécimale de l'état LACP :

Remarque : conversion de l'état LACP de l'image 3.0 du binaire au hexadécimal

Vérifier l'ID LAG

L'identificateur d'agrégation de liens est l'information que chaque membre d'interface physique du même port-channel partage, pour apparaître comme une « interface virtuelle » unique . Elle peut être vérifiée à l'aide de commandes.

ID LAG N9K1

ID LAG N9K2

sh lacp interface e1/1 | include iignore  local|lag

Lag Id: [ [(1770, a8-c-d-96-43-7f, 5, 8000, 1c9), (1770, a8-c-d-96-c9-bf, 5, 8000, 1c9)] ]

Local Port: Eth1/1 MAC Address=a8-c-d-96-c9-bf

sh lacp interface e1/2 | include iignore  local|lag

Lag Id: [ [(1770, a8-c-d-96-43-7f, 5, 8000, 1ca), (1770, a8-c-d-96-c9-bf, 5, 8000, 1ca)] ]

Local Port: Eth1/2 MAC Address=a8-c-d-96-c9-bf

sh lacp interface e1/1 | include iignore  local|lag

Lag Id: [ [(1770, a8-c-d-96-c9-bf, 5, 8000, 1c9),(1770, a8-c-d-96-43-7f, 5, 8000, 1c9)] ]

Local Port: Eth1/1 MAC Address=a8-c-d-96-43-7f

sh lacp interface e1/2 | include iignore  local|lag

Lag Id: [ [(1770, a8-c-d-96-c9-bf, 5, 8000, 1c9),(1770, a8-c-d-96-43-7f, 5, 8000, 1c9)] ]

Local Port: Eth1/2 MAC Address=a8-c-d-96-43-7f

Vérification de l’échange LACP PDU

Dans certains scénarios, même si Nexus échange des unités de données de protocole LACP à la bonne vitesse, le port-channel n'apparaît pas.

Cela peut être dû à un échec de la négociation LACP.

Un exemple d'une transaction LACP correcte pour un port-channel à venir est montré dans ce tableau.

1

Acteur N9K1

Partenaire N9K2

- N9K1 envoie LACP avec les informations d'acteur avec les bits d'état.

- Les informations du partenaire sont à 0, car N9K1 n'a reçu aucune unité de données de protocole LACP du partenaire.

2

Partenaire N9K1

Acteur N9K2

- N9K2 reçoit des informations de N9K1.

- N9K2 envoie l’unité de données de protocole LACP avec ses informations et accuse réception des informations N9K1 .

3

Acteur N9K1

Partenaire N9K2

- N9K1 Accuser réception des informations N9K2.

4

Partenaire N9K1

Acteur N9K2

- N9K2 reçoit un accusé de réception de N9K1.

- N9K2 envoie la PDU LACP en ajoutant le bit SYNC à 1.

5

Acteur N9K1

Partenaire N9K2

- N9K1 accuse réception du bit SYNC de N9K2.

- N9K1 ajoute le bit SYNC à 1 à l’unité de données de protocole LACP.

6

Partenaire N9K1

Acteur N9K2

- N9K2 Accuser réception du bit SYNC de N9K1.

- N9K2 ajoute le bit de collecte à 1 à l’unité de données de protocole LACP.

7

Acteur N9K1

Partenaire N9K2

- N9K1 Accuser réception Collecter le bit de N9K2.

- N9K1 ajoute un bit de collecte à sa PDU LACP.

8

Acteur N9K1

Partenaire N9K2

- N9K1 décide qu'est prêt à passer à l'état Distribuer. Il passe donc maintenant du bit de temporisation de 1 (rapide) à 0 (lent) et définit le bit Distribuer à 1.

9

Partenaire N9K1

Acteur N9K2

- N9k2 accuse réception de l’unité de données de protocole N9k1 et change son bit de temporisation de 1 à 0 et définit l’octet de distribution à 1.

- À ce moment, les deux nexus sont prêts à envoyer des données sur le port-channel.

10

Acteur N9K1

Partenaire N9K2

- N9K1 accuse réception de la PDU LACP de N9K2.

- À ce stade, Port-Channel passera à up.

Vérification du journal FSM LACP

LACP Finite State Machine a un journal dédié où il stocke tous les événements des états LACP de l'interface et LACP PDUS peut être trouvé sur ce journal :

sh lacp internal info interface e1/1 detail fsmlog

Sur les nouvelles versions, vous pouvez également utiliser :

sh lacp internal event-history interface e1/1

La première section décrit les transitions LACP des interfaces

>>>>FSM: <Ethernet1/1> has 61 logged transitions<<<<<

<Snipped>

58) FSM:<Ethernet1/1> Transition at 127198 usecs after Mon Aug 14 22:34:42 2023

Previous state: [LACP_ST_WAIT_FOR_HW_TO_PROGRAM_RECEIVE_PATH]

Triggered event: [LACP_EV_PORT_RECEIVE_PATH_ENABLED_AS_CHANNEL_MEMBER_MESSAGE]

Next state: [LACP_ST_PORT_MEMBER_RECEIVE_ENABLED]

59) FSM:<Ethernet1/1> Transition at 127227 usecs after Mon Aug 14 22:34:42 2023

Previous state: [LACP_ST_PORT_MEMBER_RECEIVE_ENABLED]

Triggered event: [LACP_EV_PARTNER_PDU_IN_SYNC_COLLECT_ENABLED_DISTRIBUTING_DISABLED]

Next state: [LACP_ST_WAIT_FOR_HW_TO_PROGRAM_TRANSMIT_PATH]

60) FSM:<Ethernet1/1> Transition at 128265 usecs after Mon Aug 14 22:34:42 2023

Previous state: [LACP_ST_WAIT_FOR_HW_TO_PROGRAM_TRANSMIT_PATH]

Triggered event: [LACP_EV_PERIODIC_TRANSMIT_TIMER_EXPIRED]

Next state: [FSM_ST_NO_CHANGE]

61) FSM:<Ethernet1/1> Transition at 134352 usecs after Mon Aug 14 22:34:42 2023

Previous state: [LACP_ST_WAIT_FOR_HW_TO_PROGRAM_TRANSMIT_PATH]

Triggered event: [LACP_EV_PORT_HW_PATH_ENABLED]

Next state: [LACP_ST_PORT_MEMBER_COLLECTING_AND_DISTRIBUTING_ENABLED]

Curr state: [LACP_ST_PORT_MEMBER_COLLECTING_AND_DISTRIBUTING_ENABLED]
La deuxième section présente toutes les informations LACP PDUS envoyées ou reçues par exus.
<Snipped>

(1) Send LACP PDU: len:110 at 492243 usecs after Tue Aug 15 00:02:13 2023

01010114 8000f8a7 3a393d6b 80008000 01013d00 00000214 8000f8a7 3a2ea30f

80008000 01013d00 00000310 00000000 00000000 00000000 00000000 00000000

00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000

00000000 00000000 00000000 0000

Actor:

info: (8000, f8-a7-3a-39-3d-6b, 8000, 8000, 101)

state:0x0f (Ac-1:To-1:Ag-1:Sy-1:Co-0:Di-0:De-0:Ex-0)

Partner:

info: (8000, f8-a7-3a-2e-a3-f, 8000, 8000, 101)

state:0x0f (Ac-1:To-1:Ag-1:Sy-1:Co-0:Di-0:De-0:Ex-0

(2) Recv LACP PDU: len:124 at 708749 usecs after Tue Aug 15 00:02:12 2023

0180c200 0002f8a7 3a2ea310 88090101 01148000 f8a73a2e a30f8000 80000101

3d000000 02148000 f8a73a39 3d6b8000 80000101 3d000000 03100000 00000000

00000000 00000000 00000000 00000000 00000000 00000000 00000000 00000000

00000000 00000000 00000000 00000000 00000000 00000000 00000000

Actor:

info: (8000, f8-a7-3a-2e-a3-f, 8000, 8000, 101)

state:0x0f (Ac-1:To-1:Ag-1:Sy-1:Co-0:Di-0:De-0:Ex-0)

Partner:

info: (8000, f8-a7-3a-39-3d-6b, 8000, 8000, 101)

state:0x07 (Ac-1:To-1:Ag-1:Sy-0:Co-0:Di-0:De-0:Ex-0)

Remarque : veuillez prendre en considération que la ligne temporelle de l'historique des événements de l'unité de données de protocole LACP passe des journaux plus récents aux journaux plus anciens. Cependant, la ligne temporelle de l'historique des événements des états LACP passe des journaux plus anciens aux journaux plus récents.

Configuration et vérification de LACP Ethanalyzer

LACP PDUS doit être traité par CPU , nexus a installé dans la liste d'accès interne du matériel pour rediriger les paquets LACP vers CPU, tous les LACP PDUS peuvent être observés avec ethanalyzer, afin de les filtrer le filtre de Wireshark "lent" peut être utilisé.

ethanalyzer local interface inband display-filter "slow and eth.addr==04:76:b0:b2:00:20 and eth.addr==01:80:c2:00:00:02" limit-captured-frames 0

Capturing on inband

2023-07-03 23:37:14.420839 04:76:b0:b2:00:20 -> 01:80:c2:00:00:02 LACP Link Aggregation Control ProtocolVersion 1. Actor Port = 257 Partner Port = 449

Detailed:

Frame 19 (124 bytes on wire, 124 bytes captured)

Arrival Time: Jul 3, 2023 23:38:14.425502000

[Time delta from previous captured frame: 0.836575000 seconds]

[Time delta from previous displayed frame: 11.246799000 seconds]

[Time since reference or first frame: 11.246799000 seconds]

Frame Number: 19

Frame Length: 124 bytes

Capture Length: 124 bytes

[Frame is marked: False]

[Protocols in frame: eth:slow]

Ethernet II, Src: 04:76:b0:b2:00:20 (04:76:b0:b2:00:20), Dst: 01:80:c2:00:00:02 (01:80:c2:00:00:02)

Destination: 01:80:c2:00:00:02 (01:80:c2:00:00:02)

Address: 01:80:c2:00:00:02 (01:80:c2:00:00:02)

.... ...1 .... .... .... .... = IG bit: Group address (multicast/broadcast)

.... ..0. .... .... .... .... = LG bit: Globally unique address (factory default)

Source: 04:76:b0:b2:00:20 (04:76:b0:b2:00:20)

Address: 04:76:b0:b2:00:20 (04:76:b0:b2:00:20)

.... ...0 .... .... .... .... = IG bit: Individual address (unicast)

.... ..0. .... .... .... .... = LG bit: Globally unique address (factory default)

Type: Slow Protocols (0x8809)

Link Aggregation Control Protocol

Slow Protocols subtype: LACP (0x01)

LACP Version Number: 0x01

Actor Information: 0x01

Actor Information Length: 0x14

Actor System Priority: 32768

Actor System: 04:76:b0:b2:00:1f (04:76:b0:b2:00:1f)

Actor Key: 32768

Actor Port Priority: 32768

Actor Port: 257

Actor State: 0x3d (Activity, Aggregation, Synchronization, Collecting, Distributing)

.... ...1 = LACP Activity: Yes

.... ..0. = LACP Timeout: No

.... .1.. = Aggregation: Yes

.... 1... = Synchronization: Yes

...1 .... = Collecting: Yes

..1. .... = Distributing: Yes

.0.. .... = Defaulted: No

0... .... = Expired: No

Reserved: 000000

Partner Information: 0x02

Partner Information Length: 0x14

Partner System Priority: 32768

Partner System: 70:0f:6a:d7:d0:fb (70:0f:6a:d7:d0:fb)

Partner Key: 32768

Partner Port Priority: 32768

Partner Port: 449

Partner State: 0x3d (Activity, Aggregation, Synchronization, Collecting, Distributing)

.... ...1 = LACP Activity: Yes

.... ..0. = LACP Timeout: No

.... .1.. = Aggregation: Yes

.... 1... = Synchronization: Yes

...1 .... = Collecting: Yes

..1. .... = Distributing: Yes

.0.. .... = Defaulted: No

0... .... = Expired: No

Reserved: 000000

Collector Information: 0x03

Collector Information Length: 0x10

Collector Max Delay: 0

Reserved: 000000000000000000000000

Terminator Information: 0x00

Terminator Length: 0x00

Reserved: 000000000000000000000000000000000000000000000000...

Configuration et vérification du module LACP

La première adresse MAC de l'interface distante doit être identifiée :

N9K2#sh int e1/1 | i i addr

Hardware: 1000/10000/25000/40000/50000/100000 Ethernet, address: 0476.b0b2.0020 (bia 0476.b0b2.0020)

Maintenant, sur nexus N9K1 elam est configuré.

N9K1#debug platform internal tah elam

N9K1(TAH-elam)#trigger init

N9K1(TAH-elam-insel6)#set outer l2 src_mac 04:76:b0:b2:00:20 dst_mac 01:80:c2:00:00:02 <<<<<Dest mac is mcast mac for LACP

N9K1(TAH-elam-insel6)#tart

N9K1(TAH-elam-insel6)#report

SUGARBOWL ELAM REPORT SUMMARY

slot - 1, asic - 0, slice - 1

============================Incoming Interface: Eth1/49

Src Idx : 0x601, Src BD : 1

Outgoing Interface Info: met_ptr 0Packet Type: CE

Dst MAC address: 01:80:C2:00:00:02

Src MAC address: 04:76:B0:B2:00:20

Sup hit: 1, Sup Idx: 2627. <<<<<Traffic needs to be punted to the CPU.

Drop Info:

----------LUA:

LUB:

LUC:

LUD:

Final Drops:vntag:

vntag_valid : 0

vntag_vir : 0

vntag_svif : 0

Afin de décoder l'index de redirection sup, la commande sh system internal access-list sup-redirect-stats peut être exécutée :

sh system internal access-list sup-redirect-stats | i i 2627

2627 LACP 0

2627 LACP 103