Contenido

Introducción

Prerequisites

Requirements

Componentes Utilizados

Casos de uso

Puerto huérfano en un switch hoja en vPC

Fallo del link ascendente en un switch de hoja en vPC

Conmutadores de hoja de borde en vPC

nodo Bud

Configurar

Diagrama de la red

Configuraciones

Verificación

Troubleshoot

Introducción

Este documento describe el propósito del comando system nve infra-vlan en fabrics Virtual Extensible LAN Border Gateway Protocol Ethernet VPN (VXLAN BGP EVPN) basados en switches Cisco Nexus 9000 que ejecutan el sistema operativo NX-OS.

Cuando los switches Nexus 9000 se configuran como switches hoja VXLAN también conocidos como puntos finales de túnel VXLAN (VTEP) en el dominio de canal de puerto virtual (vPC), debe tener una adyacencia de routing de capa 3 de respaldo entre ellos a través del enlace de par vPC con el uso de una vlan de interfaz. Esta VLAN debe ser local para los switches, no extendida a través del fabric VXLAN y pertenecer al VRF predeterminado (tabla de routing global).

Asegúrese de que el comando system nve infra-vlan esté implementado en las plataformas Nexus 9000 con CloudScale ASIC (Tahoe) como los switches Nexus 9300 que terminan en EX, FX y FX2 para especificar que la VLAN puede actuar como enlace ascendente y reenviar correctamente las tramas con encapsulación VXLAN sobre el enlace de peer vPC.

Nota: Este documento no se aplica a los switches Cisco Nexus 9000 que se ejecutan en el modo Application Centric Infrastructure (ACI) y se administran mediante Cisco Application Policy Infrastructure Controller (APIC).

Prerequisites

Requirements

Cisco recomienda que tenga conocimiento sobre estos temas:

- Software Nexus NX-OS

- EVPN BGP VXLAN

Componentes Utilizados

La información que contiene este documento se basa en las siguientes versiones de software y hardware.

- Cisco N9K-C93180YC-EX

- NXOS versión 7.0(3)I7(6)

The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. Si tiene una red en vivo, asegúrese de entender el posible impacto de cualquier comando.

Nota: Este documento utiliza los términos Switch de hoja, VTEP y ToR indistintamente.

Casos de uso

Los siguientes casos prácticos muestran cuándo es necesario configurar el comando system nve infra-vlan. En todos ellos, la VLAN 777 asignada debe definirse como parte del comando system nve infra-vlan y utilizarse para crear instancias de una adyacencia de respaldo de ruteo de Capa 3 sobre el link de peer vPC. Esta VLAN 777 debe ser parte del VRF predeterminado (tabla de routing global).

Nota: Estos casos prácticos describen el escenario común de un host final o routers conectados físicamente directamente a los switches de hoja de VXLAN Cisco Nexus 9000 o de hoja de borde. De manera similar, estos casos prácticos se aplican en el caso de que un switch o puente de Capa 2 se encuentre entre los switches de hoja Nexus 9000 y el host final o los routers.

Puerto huérfano en un switch hoja en vPC

Este caso práctico representa un host final dentro del fabric (host A) conectado a un único switch de hoja VXLAN Cisco Nexus 9000 que forma parte de un dominio vPC. Esto se conoce como conexión de puerto huérfano. Como parte del routing, el tráfico generado por un host final conectado a cualquier otro switch de hoja del fabric está destinado, en la parte inferior, a la dirección IP de difusión nve (10.12.12.12), propiedad simultáneamente de ambos switches de hoja en vPC (Switch Leaf A y Switch Leaf B). Esto se realiza para aprovechar todos los enlaces ascendentes de hoja a columna con el uso del routing de múltiples rutas de igual coste (ECMP). En este escenario, después de pasar por la columna vertebral, las tramas VXLAN destinadas al Host-A pueden hash a la Hoja B que no tiene conexión directa con el Host-A. Se requiere el sistema nve infra-vlan y routing de respaldo para que el tráfico atraviese el link de par vPC.

Fallo del link ascendente en un switch de hoja en vPC

En este caso práctico, el host final (Host-A) dentro del fabric tiene doble conexión con los switches de hoja VXLAN Cisco Nexus 9000 en un dominio vPC. Sin embargo, en caso de que se produzcan fallos en todos los enlaces ascendentes de cualquiera de los switches de hoja de vPC que puedan aislarlos completamente de los switches de columna, se requiere el sistema nve infra-vlan y el routing de respaldo para que el tráfico atraviese el link de par vPC que ahora es la única ruta posible hacia la columna. Por ejemplo, el diagrama muestra que el tráfico del Host A ha hurgado su trama en la hoja A del switch aislado. La trama ahora tiene que atravesar el link de par vPC.

Conmutadores de hoja de borde en vPC

Los switches de hoja de borde que proporcionan conectividad fuera del fabric VXLAN mediante el intercambio de prefijos de red con routers externos, pueden estar en vPC.

Esta conectividad a los routers externos puede considerarse de forma abstracta como conectividad a la WAN.

Los switches de hoja de frontera con conectividad a la WAN podrían terminar con un solo enlace en caso de fallo de enlace. En tal caso, el sistema no necesita infra-vlan ni routing de respaldo para que el tráfico atraviese el link de par vPC como se muestra en el siguiente diagrama.

Nota: Para los siguientes ejemplos, además de la VLAN en la tabla de ruteo global, debe haber una parte de VLAN del arrendatario VRF que base el intercambio de prefijos de red con el uso de rutas estáticas o un protocolo de ruteo entre los switches de hoja de borde sobre el link de peer vPC. Esto es necesario para llenar la tabla de ruteo de VRF del arrendatario.

Los switches de hoja de borde también pueden anunciar loopbacks de interfaz a través del enlace de par vPC con el uso de rutas estáticas o un protocolo de ruteo instanciado en un arrendatario-VRF. Este tráfico también se transportará a través del enlace de par vPC.

Por último, los routers externos de una sola casa conectados a los switches de hoja de frontera pueden anunciar los prefijos de red que se pueden requerir para que el link de par vPC esté en la trayectoria del tráfico de red, como se ve en el siguiente diagrama.

nodo Bud

En el caso práctico del nodo Bud, puede haber un VTEP basado en hardware o software conectado a los switches de hoja VXLAN Cisco Nexus 9000. Este VTEP puede enviar al tráfico encapsulado VXLAN de los switches de hoja. La VLAN utilizada para la conectividad con este VTEP de hardware o software se debe agregar al comando system nve infra-vlan.

En este caso, es VLAN 10 adicionalmente a VLAN 777.

Configurar

En esta situación, LEAF A y LEAF B son VTEP en vPC.

Vlan 777 se ha elegido para participar en el protocolo de routing subyacente que, en este caso, es Open Shortest Path First (OSPF).

En cada switch LEAF A y LEAF B, OSPF ha formado una adyacencia con el switch SPINE sobre el link ascendente y entre ellos sobre el link de peer vPC.

OSPF o Sistema intermedio a sistema intermedio (IS-IS) puede ser el protocolo de routing en uso en la capa subyacente.

Nota: Ningún comando vn-Segment se configura en la sección de configuración vlan 777. Esto indica que la vlan no se extiende a través del fabric VXLAN y es local en los switches.

Agregue el comando system nve infra-vlan en el modo de configuración global y elija vlan 777 ya que es la vlan utilizada para la adyacencia OSPF subyacente.

Nota: El sistema de nve infra-vlan sólo se requiere en Nexus 9000 con CloudScale ASIC (Tahoe) como el Nexus 9300 que termina en EX, FX y FX2.

HOJA A

LEAF_A# show ip ospf neighbors

OSPF Process ID 1 VRF default

Total number of neighbors: 2

Neighbor ID     Pri State            Up Time  Address         Interface

10.255.255.254    1 FULL/ -          00:02:52 10.255.255.254  Eth1/6

10.255.255.2      1 FULL/ -          02:16:10 10.1.2.2        Vlan777

LEAF_A#

LEAF_A# show running-config vlan 777

!Command: show running-config vlan 777

!Running configuration last done at: Tue Jul 16 19:45:24 2019

!Time: Tue Jul 16 19:48:46 2019

version 7.0(3)I7(6) Bios:version 07.65

vlan 777

vlan 777

name BACKUP_VLAN_ROUTING_NVE_INFRA

LEAF_A#

LEAF_A# show running-config interface vlan 777

!Command: show running-config interface Vlan777

!Running configuration last done at: Tue Jul 16 19:45:24 2019

!Time: Tue Jul 16 19:46:33 2019

version 7.0(3)I7(6) Bios:version 07.65

interface Vlan777

no shutdown

no ip redirects

ip address 10.1.2.1/24

no ipv6 redirects

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

LEAF_A#

LEAF_A# configure terminal

Enter configuration commands, one per line. End with CNTL/Z.

LEAF_A(config)# system nve infra-vlans ?

<1-3967>  VLAN ID 1-4094 or range(s): 1-5, 10 or 2-5,7-19 (The range of vlans configured must not exceed 512)

LEAF_A(config)# system nve infra-vlans 777

LEAF_A(config)#

HOJA B

LEAF_B# show ip ospf neighbors

OSPF Process ID 1 VRF default

Total number of neighbors: 2

Neighbor ID     Pri State            Up Time  Address         Interface

10.255.255.254    1 FULL/ -          02:21:53 10.255.255.254  Eth1/5

10.255.255.1      1 FULL/ -          02:13:51 10.1.2.1        Vlan777

LEAF_B#

LEAF_B# show running-config vlan 777

!Command: show running-config vlan 777

!Running configuration last done at: Tue Jul 16 18:17:29 2019

!Time: Tue Jul 16 19:49:19 2019

version 7.0(3)I7(6) Bios:version 07.65

vlan 777

vlan 777

name BACKUP_VLAN_ROUTING_NVE_INFRA

LEAF_B#

LEAF_B# sh running-config interface vlan 777

!Command: show running-config interface Vlan777

!Running configuration last done at: Tue Jul 16 18:17:29 2019

!Time: Tue Jul 16 19:48:14 2019

version 7.0(3)I7(6) Bios:version 07.65

interface Vlan777

no shutdown

no ip redirects

ip address 10.1.2.2/24

no ipv6 redirects

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

LEAF_B#

LEAF_B# configure terminal

Enter configuration commands, one per line. End with CNTL/Z.

LEAF_B(config)# system nve infra-vlans ?

<1-3967>  VLAN ID 1-4094 or range(s): 1-5, 10 or 2-5,7-19 (The range of vlans configured must not exceed 512)

LEAF_B(config)# system nve infra-vlans 777

LEAF_B(config)#

Nota: No debe configurar ciertas combinaciones de infra-VLAN. Por ejemplo, 2 y 514, 10 y 522, que están separadas por 512.

Diagrama de la red

Configuraciones

HOJA A

configure terminal

!

hostname LEAF_A

!

nv overlay evpn

feature ospf

feature bgp

feature interface-vlan

feature vn-segment-vlan-based

feature nv overlay

feature vpc

feature lacp

!

vlan 10

name VLAN_10_VRF_RED

vn-segment 1000

vlan 100

name L3_VNI_VRF_RED

vn-segment 10000

vlan 777

name BACKUP_VLAN_ROUTING_NVE_INFRA

!

vpc domain 1

peer-keepalive destination 10.82.140.99 source 10.82.140.98 vrf management

peer-switch

peer-gateway

layer3 peer-router

!

interface Ethernet1/1

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

!

interface Port-Channel1

vpc peer-link

no shutdown

!

interface Vlan777

no shutdown

no ip redirects

ip address 10.1.2.1/24

no ipv6 redirects

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

!

fabric forwarding anycast-gateway-mac 000a.000b.000c

!

vrf context RED

vni 10000

rd auto

address-family ipv4 unicast

route-target both auto

route-target both auto evpn

!

interface Ethernet1/6

description TO SPINE

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface Ethernet1/54

description TO HOST-A

switchport

switchport access vlan 10

spanning-tree port type edge

no shutdown

!

interface loopback0

description NVE LOOPBACK

ip address 10.1.1.1/32

ip address 10.12.12.12/32 secondary

ip router ospf 1 area 0.0.0.0

interface loopback1

description OSPF & BGP ID

ip address 10.255.255.1/32

ip router ospf 1 area 0.0.0.0

!

interface Vlan100

no shutdown

vrf member RED

no ip redirects

ip forward

no ipv6 redirects

!

interface Vlan10

no shutdown

vrf member RED

ip address 192.168.1.1/24

fabric forwarding mode anycast-gateway

!

interface nve1

host-reachability protocol bgp

source-interface loopback0

member vni 1000

ingress-replication protocol bgp

member vni 10000 associate-vrf

no shutdown

!

router ospf 1

router-id 10.255.255.1

!

router bgp 65535

router-id 10.255.255.1

address-family ipv4 unicast

address-family l2vpn evpn

neighbor 10.255.255.254

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

vrf RED

address-family ipv4 unicast

advertise l2vpn evpn

!

evpn

vni 1000 l2

rd auto

route-target import auto

route-target export auto

!

end

HOJA B

configure terminal

!

hostname LEAF_B

!

nv overlay evpn

feature ospf

feature bgp

feature interface-vlan

feature vn-segment-vlan-based

feature nv overlay

feature vpc

feature lacp

!

vlan 10

name VLAN_10_VRF_RED

vn-segment 1000

vlan 100

name L3_VNI_VRF_RED

vn-segment 10000

vlan 777

name BACKUP_VLAN_ROUTING_NVE_INFRA

!

vpc domain 1

peer-keepalive destination 10.82.140.98 source 10.82.140.99 vrf management

peer-switch

peer-gateway

layer3 peer-router

!

interface Ethernet1/1

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

!

interface Port-Channel1

vpc peer-link

no shutdown

!

interface Vlan777

no shutdown

no ip redirects

ip address 10.1.2.2/24

no ipv6 redirects

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

!

fabric forwarding anycast-gateway-mac 000a.000b.000c

!

vrf context RED

vni 10000

rd auto

address-family ipv4 unicast

route-target both auto

route-target both auto evpn

!

interface Ethernet1/5

description TO SPINE

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface loopback0

description NVE LOOPBACK

ip address 10.2.2.2/32

ip address 10.12.12.12/32 secondary

ip router ospf 1 area 0.0.0.0

interface loopback1

description OSPF & BGP ID

ip address 10.255.255.2/32

ip router ospf 1 area 0.0.0.0

!

interface Vlan100

no shutdown

vrf member RED

no ip redirects

ip forward

no ipv6 redirects

!

interface Vlan10

no shutdown

vrf member RED

ip address 192.168.1.1/24

fabric forwarding mode anycast-gateway

!

interface nve1

host-reachability protocol bgp

source-interface loopback0

member vni 1000

ingress-replication protocol bgp

member vni 10000 associate-vrf

no shutdown

!

router ospf 1

router-id 10.255.255.2

!

router bgp 65535

router-id 10.255.255.2

address-family ipv4 unicast

address-family l2vpn evpn

neighbor 10.255.255.254

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

vrf RED

address-family ipv4 unicast

advertise l2vpn evpn

!

evpn

vni 1000 l2

rd auto

route-target import auto

route-target export auto

!

end

HOJA C

configure terminal

!

hostname LEAF_C

!

nv overlay evpn

feature ospf

feature bgp

feature interface-vlan

feature vn-segment-vlan-based

feature nv overlay

!

vlan 10

name VLAN_10_VRF_RED

vn-segment 1000

vlan 100

name L3_VNI_VRF_RED

vn-segment 10000

vlan 777

name BACKUP_VLAN_ROUTING_NVE_INFRA

!

fabric forwarding anycast-gateway-mac 000a.000b.000c

!

vrf context RED

vni 10000

rd auto

address-family ipv4 unicast

route-target both auto

route-target both auto evpn

!

interface Ethernet1/1

description TO SPINE

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface Ethernet1/49

description TO HOST-A

switchport

switchport access vlan 10

spanning-tree port type edge

no shutdown

!

interface loopback0

description NVE LOOPBACK

ip address 10.3.3.3/32

ip router ospf 1 area 0.0.0.0

!

interface loopback1

description OSPF & BGP ID

ip address 10.255.255.3/32

ip router ospf 1 area 0.0.0.0

!

interface Vlan100

no shutdown

vrf member RED

no ip redirects

ip forward

no ipv6 redirects

!

interface Vlan10

no shutdown

vrf member RED

ip address 192.168.1.1/24

fabric forwarding mode anycast-gateway

!

interface nve1

host-reachability protocol bgp

source-interface loopback0

member vni 1000

ingress-replication protocol bgp

member vni 10000 associate-vrf

no shutdown

!

router ospf 1

router-id 10.255.255.3

!

router bgp 65535

router-id 10.255.255.3

address-family ipv4 unicast

address-family l2vpn evpn

neighbor 10.255.255.254

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

vrf RED

address-family ipv4 unicast

advertise l2vpn evpn

!

evpn

vni 1000 l2

rd auto

route-target import auto

route-target export auto

!

end

SPINE

configure terminal

!

hostname SPINE

!

nv overlay evpn

feature ospf

feature bgp

feature nv overlay

!

interface Ethernet1/5

description TO LEAF A

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface Ethernet1/6

description TO LEAF B

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface Ethernet1/1

description TO LEAF C

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface loopback1

description OSPF & BGP ID

ip address 10.255.255.254/32

ip router ospf 1 area 0.0.0.0

!

router ospf 1

router-id 10.255.255.254

!

router bgp 65535

router-id 10.255.255.254

address-family ipv4 unicast

address-family l2vpn evpn

retain route-target all

neighbor 10.255.255.1

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

route-reflector-client

neighbor 10.255.255.2

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

route-reflector-client

neighbor 10.255.255.3

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

route-reflector-client

!

end

Verificación

Ejecute el comando show system nve infra-vlan y asegúrese de que la vlan se muestre en infra Vlan actualmente activas.

HOJA A

LEAF_A# show system nve infra-vlans

Currently active infra Vlans: 777

Available Infra Vlans : 7-264,266-511,519-776,778-1023,1031-1288,1290-1535,1543-1800,1802-2047,2055-2312,2314-2559,2567-2824,2826-3071,3079-3336,3338-3583,3591-3848,3850-3967

*Configuration of two infra-vlans which are 512 apart is not allowed. Ex: 4, 516 are not allowed to be configured together

LEAF_A#

HOJA B

LEAF_B# show system nve infra-vlans

Currently active infra Vlans: 777

Available Infra Vlans : 7-264,266-511,519-776,778-1023,1031-1288,1290-1535,1543-1800,1802-2047,2055-2312,2314-2559,2567-2824,2826-3071,3079-3336,3338-3583,3591-3848,3850-3967

*Configuration of two infra-vlans which are 512 apart is not allowed. Ex: 4, 516 are not allowed to be configured together

LEAF_B#

Nota: Las interfaces físicas de capa 3 son la recomendación que se debe utilizar como enlaces ascendentes para transportar el tráfico VXLAN en el fabric. No se soportan subinterfaces de Capa 3. Para utilizar vlan de interfaz para transportar tráfico VXLAN, asegúrese de que la vlan también se identifique con el comando system nve infra-vlan a través del link de par vPC.

Troubleshoot

En el caso de que el switch LEAF A sufra una falla de link ascendente y ya no se conecte directamente al switch SPINE, todavía se puede alcanzar con la infra-vlan a través del link de par vPC utilizado como enlace ascendente de respaldo hacia el switch SPINE.

HOJA A

LEAF_A# show mac address-table vlan 10

Legend:

* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC

age - seconds since last seen,+ - primary entry using vPC Peer-Link,

(T) - True, (F) - False, C - ControlPlane MAC, ~ - vsan

VLAN     MAC Address      Type      age     Secure NTFY Ports

---------+-----------------+--------+---------+------+----+------------------

*   10     0000.0000.000a   dynamic  0         F      F    Eth1/54

C   10     0000.0000.000b   dynamic  0         F      F    nve1(10.3.3.3)

G   10     00be.755b.f1b7   static   -         F      F    sup-eth1(R)

G   10     4c77.6db9.a8db   static   -         F      F    vPC Peer-Link(R)

LEAF_A#

LEAF_A# show ip route 10.3.3.3

IP Route Table for VRF "default"

'*' denotes best ucast next-hop

'**' denotes best mcast next-hop

'[x/y]' denotes [preference/metric]

'%<string>' in via output denotes VRF <string>

10.3.3.3/32, ubest/mbest: 1/0

*via 10.1.2.2, Vlan777, [110/49], 00:01:39, ospf-1, intra

LEAF_A#

LEAF_A# show system nve infra-vlans

Currently active infra Vlans: 777

Available Infra Vlans : 7-264,266-511,519-776,778-1023,1031-1288,1290-1535,1543-1800,1802-2047,2055-2312,2314-2559,2567-2824,2826-3071,3079-3336,3338-3583,3591-3848,3850-3967

*Configuration of two infra-vlans which are 512 apart is not allowed. Ex: 4, 516 are not allowed to be configured together

LEAF_A#