Contents

Introduction

Prerequisites

Requirements

Componentes Utilizados

Casos de uso

Porta órfã em um switch leaf no vPC

Falha de uplink em um Switch Leaf no vPC

Switches de folha de borda no vPC

Nó Bud

Configurar

Diagrama de Rede

Configurações

Verificar

Troubleshoot

Introduction

Este documento descreve a finalidade do comando system nve infra-vlans em estruturas Virtual Extensible LAN Border Gateway Protocol Ethernet VPN (VXLAN BGP EVPN) baseadas em Cisco Nexus 9000 Switches que executam o Sistema Operacional NX-OS.

Quando os switches Nexus 9000 são configurados como Switches leaf VXLAN também conhecidos como Pontos finais do túnel VXLAN (VTEP) no domínio de canal de porta virtual (vPC), você deve ter uma adjacência de roteamento de camada 3 de backup entre eles no link de peer do vPC com o uso de uma vlan de interface. Essa VLAN deve ser local para os switches, não ser estendida através da estrutura VXLAN e pertencer ao VRF padrão (Tabela de roteamento global).

Certifique-se de que o comando system nve infra-vlans esteja em vigor nas plataformas Nexus 9000 com CloudScale ASIC (Tahoe) como os Switches Nexus 9300 que terminam em EX, FX e FX2 para especificar que a VLAN pode atuar como um uplink e encaminhar corretamente os quadros com encapsulamento VXLAN pelo link de peer do vPC.

Note: Este documento não se aplica aos Switches Cisco Nexus 9000 executados no modo de Infraestrutura Centrada em Aplicações (ACI) e gerenciados pelo Cisco Application Policy Infrastructure Controller (APIC).

Prerequisites

Requirements

A Cisco recomenda que você tenha conhecimento destes tópicos:

- Software Nexus NX-OS

- VXLAN BGP EVPN

Componentes Utilizados

As informações neste documento são baseadas nestas versões de software e hardware:

- Cisco N9K-C93180YC-EX

- NXOS versão 7.0(3)I7(6)

The information in this document was created from the devices in a specific lab environment. All of the devices used in this document started with a cleared (default) configuration. Se a rede estiver ativa, certifique-se de que você entenda o impacto potencial de qualquer comando.

Note: Este documento usa os termos Switch Folha, VTEP e ToR de forma intercambiável.

Casos de uso

Os próximos casos de uso mostram quando é necessário configurar o comando system nve infra-vlans. Em todos eles, a VLAN 777 alocada precisa ser definida como parte do comando system nve infra-vlans e ser usada para instanciar uma adjacência de backup de roteamento de camada 3 sobre o link peer do vPC. Essa VLAN 777 precisa fazer parte do VRF padrão (Tabela de roteamento global).

Note: Esses casos de uso descrevem o cenário comum de um host final ou roteadores fisicamente conectados diretamente aos switches Cisco Nexus 9000 VXLAN Leaf ou Border Leaf. Da mesma forma, esses casos de uso se aplicam no caso de um Switch ou bridge de Camada 2 estar entre os Switches Leaf Nexus 9000 e o host ou roteadores finais.

Porta órfã em um switch leaf no vPC

Este caso de uso descreve um host final dentro da estrutura (Host-A) conectada a um único switch Cisco Nexus 9000 VXLAN Leaf parte de um domínio vPC. Isso é conhecido como uma conexão de porta órfã. Como parte do Roteamento, o tráfego gerado por um host final conectado a qualquer outro Switch Leaf na estrutura é destinado, na parte inferior, ao endereço IP Anycast NVE (10.12.12.12) próprio simultaneamente por ambos os Switches Leaf no vPC (Folha de Switch A e Folha de Switch B). Isso serve para aproveitar todos os uplinks de folha a espinha com o uso de roteamento de multi-caminho de custo igual (ECMP). Neste cenário, após passar pelo Spine, os quadros VXLAN destinados ao Host-A podem hash para o Folha B, que não tem conexão direta com o Host-A. O sistema nve infra-vlans e o Roteamento de backup são necessários para que o tráfego passe pelo peer-link do vPC.

Falha de uplink em um Switch Leaf no vPC

Nesse caso de uso, o host final (Host-A) dentro da estrutura é dual homed para ambos os Switches Cisco Nexus 9000 VXLAN Leaf em um domínio vPC. No entanto, em caso de falha de todos os uplinks em qualquer um dos switches Leaf no vPC que podem isolá-lo completamente dos switches Spine, o sistema nve infra-vlans e o roteamento de backup são necessários para que o tráfego passe pelo link peer do vPC, que agora é o único caminho possível para o Spine. Por exemplo, o diagrama mostra que o tráfego do Host-A atingiu seu quadro com o switch isolado Leaf A. O quadro agora tem que atravessar o peer-link do vPC.

Switches de folha de borda no vPC

Os switches Border Leaf que fornecem conectividade fora da estrutura VXLAN através da troca de prefixos de rede com roteadores externos podem estar no vPC.

Essa conectividade com roteadores externos pode ser vista de forma abstrata como conectividade com a WAN.

Os switches de folha de borda com conectividade com a WAN podem acabar em uma única casa em caso de falha de link. Nesse caso, o sistema nve infra-vlans e o roteamento de backup são necessários para que o tráfego passe pelo peer-link do vPC, como mostrado no próximo diagrama.

Note: Para os próximos exemplos, além da VLAN na Tabela de Roteamento Global, deve haver uma parte da VLAN do Tenant-VRF que baseie a troca de prefixos de rede com o uso de Rotas Estáticas ou um Protocolo de Roteamento entre os switches Border Leaf no link peer do vPC. Isso é necessário para preencher a Tabela de roteamento Tenant-VRF.

Os Switches de folha de borda também podem anunciar loopbacks de interface pelo link peer do vPC com o uso de rotas estáticas ou um protocolo de roteamento instanciado em um VRF de espaço. Esse tráfego também será transportado pelo peer-link do vPC.

Finalmente, os roteadores externos conectados a switches Border Leaf podem anunciar prefixos de rede que podem ser necessários para ter o link peer do vPC no caminho do tráfego de rede, como visto no próximo diagrama.

Nó Bud

No caso de uso do nó Bud, pode haver um VTEP baseado em hardware ou software conectado aos switches leaf Cisco Nexus 9000 VXLAN. Esse VTEP pode enviar para o tráfego encapsulado VXLAN dos Switches leaf. A VLAN usada para conectividade com este VTEP de hardware ou software deve ser adicionada ao comando system nve infra-vlans.

Nesse caso, é a VLAN 10, além da VLAN 777.

Configurar

Neste cenário, LEAF A e LEAF B são VTEPs em vPC.

A Vlan 777 foi escolhida para participar do protocolo de roteamento básico que, nesse caso, é o OSPF (Open Shortest Path First).

Em cada comutador LEAF A e LEAF B, o OSPF formou uma adjacência com o comutador SPINE sobre o uplink e entre eles através do peer-link do vPC.

O OSPF ou o IS-IS (Intermediate System-to-Intermediate System) podem ser o protocolo de roteamento em uso na base.

Note: Nenhum comando vn-segmento está configurado na seção de configuração vlan 777. Isso indica que a vlan não está esticada na estrutura de VXLAN e é local nos Switches.

Adicione o comando system nve-vlans no modo de configuração global e escolha a vlan 777, pois é a vlan usada para a adjacência de OSPF subjacente.

Note: O sistema nve infra-vlans só é necessário no Nexus 9000 com CloudScale ASIC (Tahoe) como o Nexus 9300, que termina em EX, FX e FX2.

FOLHA A

LEAF_A# show ip ospf neighbors

OSPF Process ID 1 VRF default

Total number of neighbors: 2

Neighbor ID     Pri State            Up Time  Address         Interface

10.255.255.254    1 FULL/ -          00:02:52 10.255.255.254  Eth1/6

10.255.255.2      1 FULL/ -          02:16:10 10.1.2.2        Vlan777

LEAF_A#

LEAF_A# show running-config vlan 777

!Command: show running-config vlan 777

!Running configuration last done at: Tue Jul 16 19:45:24 2019

!Time: Tue Jul 16 19:48:46 2019

version 7.0(3)I7(6) Bios:version 07.65

vlan 777

vlan 777

name BACKUP_VLAN_ROUTING_NVE_INFRA

LEAF_A#

LEAF_A# show running-config interface vlan 777

!Command: show running-config interface Vlan777

!Running configuration last done at: Tue Jul 16 19:45:24 2019

!Time: Tue Jul 16 19:46:33 2019

version 7.0(3)I7(6) Bios:version 07.65

interface Vlan777

no shutdown

no ip redirects

ip address 10.1.2.1/24

no ipv6 redirects

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

LEAF_A#

LEAF_A# configure terminal

Enter configuration commands, one per line. End with CNTL/Z.

LEAF_A(config)# system nve infra-vlans ?

<1-3967>  VLAN ID 1-4094 or range(s): 1-5, 10 or 2-5,7-19 (The range of vlans configured must not exceed 512)

LEAF_A(config)# system nve infra-vlans 777

LEAF_A(config)#

FOLHA B

LEAF_B# show ip ospf neighbors

OSPF Process ID 1 VRF default

Total number of neighbors: 2

Neighbor ID     Pri State            Up Time  Address         Interface

10.255.255.254    1 FULL/ -          02:21:53 10.255.255.254  Eth1/5

10.255.255.1      1 FULL/ -          02:13:51 10.1.2.1        Vlan777

LEAF_B#

LEAF_B# show running-config vlan 777

!Command: show running-config vlan 777

!Running configuration last done at: Tue Jul 16 18:17:29 2019

!Time: Tue Jul 16 19:49:19 2019

version 7.0(3)I7(6) Bios:version 07.65

vlan 777

vlan 777

name BACKUP_VLAN_ROUTING_NVE_INFRA

LEAF_B#

LEAF_B# sh running-config interface vlan 777

!Command: show running-config interface Vlan777

!Running configuration last done at: Tue Jul 16 18:17:29 2019

!Time: Tue Jul 16 19:48:14 2019

version 7.0(3)I7(6) Bios:version 07.65

interface Vlan777

no shutdown

no ip redirects

ip address 10.1.2.2/24

no ipv6 redirects

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

LEAF_B#

LEAF_B# configure terminal

Enter configuration commands, one per line. End with CNTL/Z.

LEAF_B(config)# system nve infra-vlans ?

<1-3967>  VLAN ID 1-4094 or range(s): 1-5, 10 or 2-5,7-19 (The range of vlans configured must not exceed 512)

LEAF_B(config)# system nve infra-vlans 777

LEAF_B(config)#

Note: Você não deve configurar certas combinações de infra-VLANs. Por exemplo, 2 e 514, 10 e 522, que estão separados 512.

Diagrama de Rede

Configurações

FOLHA A

configure terminal

!

hostname LEAF_A

!

nv overlay evpn

feature ospf

feature bgp

feature interface-vlan

feature vn-segment-vlan-based

feature nv overlay

feature vpc

feature lacp

!

vlan 10

name VLAN_10_VRF_RED

vn-segment 1000

vlan 100

name L3_VNI_VRF_RED

vn-segment 10000

vlan 777

name BACKUP_VLAN_ROUTING_NVE_INFRA

!

vpc domain 1

peer-keepalive destination 10.82.140.99 source 10.82.140.98 vrf management

peer-switch

peer-gateway

layer3 peer-router

!

interface Ethernet1/1

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

!

interface Port-Channel1

vpc peer-link

no shutdown

!

interface Vlan777

no shutdown

no ip redirects

ip address 10.1.2.1/24

no ipv6 redirects

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

!

fabric forwarding anycast-gateway-mac 000a.000b.000c

!

vrf context RED

vni 10000

rd auto

address-family ipv4 unicast

route-target both auto

route-target both auto evpn

!

interface Ethernet1/6

description TO SPINE

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface Ethernet1/54

description TO HOST-A

switchport

switchport access vlan 10

spanning-tree port type edge

no shutdown

!

interface loopback0

description NVE LOOPBACK

ip address 10.1.1.1/32

ip address 10.12.12.12/32 secondary

ip router ospf 1 area 0.0.0.0

interface loopback1

description OSPF & BGP ID

ip address 10.255.255.1/32

ip router ospf 1 area 0.0.0.0

!

interface Vlan100

no shutdown

vrf member RED

no ip redirects

ip forward

no ipv6 redirects

!

interface Vlan10

no shutdown

vrf member RED

ip address 192.168.1.1/24

fabric forwarding mode anycast-gateway

!

interface nve1

host-reachability protocol bgp

source-interface loopback0

member vni 1000

ingress-replication protocol bgp

member vni 10000 associate-vrf

no shutdown

!

router ospf 1

router-id 10.255.255.1

!

router bgp 65535

router-id 10.255.255.1

address-family ipv4 unicast

address-family l2vpn evpn

neighbor 10.255.255.254

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

vrf RED

address-family ipv4 unicast

advertise l2vpn evpn

!

evpn

vni 1000 l2

rd auto

route-target import auto

route-target export auto

!

end

FOLHA B

configure terminal

!

hostname LEAF_B

!

nv overlay evpn

feature ospf

feature bgp

feature interface-vlan

feature vn-segment-vlan-based

feature nv overlay

feature vpc

feature lacp

!

vlan 10

name VLAN_10_VRF_RED

vn-segment 1000

vlan 100

name L3_VNI_VRF_RED

vn-segment 10000

vlan 777

name BACKUP_VLAN_ROUTING_NVE_INFRA

!

vpc domain 1

peer-keepalive destination 10.82.140.98 source 10.82.140.99 vrf management

peer-switch

peer-gateway

layer3 peer-router

!

interface Ethernet1/1

switchport

switchport mode trunk

channel-group 1 mode active

no shutdown

!

interface Port-Channel1

vpc peer-link

no shutdown

!

interface Vlan777

no shutdown

no ip redirects

ip address 10.1.2.2/24

no ipv6 redirects

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

!

fabric forwarding anycast-gateway-mac 000a.000b.000c

!

vrf context RED

vni 10000

rd auto

address-family ipv4 unicast

route-target both auto

route-target both auto evpn

!

interface Ethernet1/5

description TO SPINE

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface loopback0

description NVE LOOPBACK

ip address 10.2.2.2/32

ip address 10.12.12.12/32 secondary

ip router ospf 1 area 0.0.0.0

interface loopback1

description OSPF & BGP ID

ip address 10.255.255.2/32

ip router ospf 1 area 0.0.0.0

!

interface Vlan100

no shutdown

vrf member RED

no ip redirects

ip forward

no ipv6 redirects

!

interface Vlan10

no shutdown

vrf member RED

ip address 192.168.1.1/24

fabric forwarding mode anycast-gateway

!

interface nve1

host-reachability protocol bgp

source-interface loopback0

member vni 1000

ingress-replication protocol bgp

member vni 10000 associate-vrf

no shutdown

!

router ospf 1

router-id 10.255.255.2

!

router bgp 65535

router-id 10.255.255.2

address-family ipv4 unicast

address-family l2vpn evpn

neighbor 10.255.255.254

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

vrf RED

address-family ipv4 unicast

advertise l2vpn evpn

!

evpn

vni 1000 l2

rd auto

route-target import auto

route-target export auto

!

end

LEAF C

configure terminal

!

hostname LEAF_C

!

nv overlay evpn

feature ospf

feature bgp

feature interface-vlan

feature vn-segment-vlan-based

feature nv overlay

!

vlan 10

name VLAN_10_VRF_RED

vn-segment 1000

vlan 100

name L3_VNI_VRF_RED

vn-segment 10000

vlan 777

name BACKUP_VLAN_ROUTING_NVE_INFRA

!

fabric forwarding anycast-gateway-mac 000a.000b.000c

!

vrf context RED

vni 10000

rd auto

address-family ipv4 unicast

route-target both auto

route-target both auto evpn

!

interface Ethernet1/1

description TO SPINE

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface Ethernet1/49

description TO HOST-A

switchport

switchport access vlan 10

spanning-tree port type edge

no shutdown

!

interface loopback0

description NVE LOOPBACK

ip address 10.3.3.3/32

ip router ospf 1 area 0.0.0.0

!

interface loopback1

description OSPF & BGP ID

ip address 10.255.255.3/32

ip router ospf 1 area 0.0.0.0

!

interface Vlan100

no shutdown

vrf member RED

no ip redirects

ip forward

no ipv6 redirects

!

interface Vlan10

no shutdown

vrf member RED

ip address 192.168.1.1/24

fabric forwarding mode anycast-gateway

!

interface nve1

host-reachability protocol bgp

source-interface loopback0

member vni 1000

ingress-replication protocol bgp

member vni 10000 associate-vrf

no shutdown

!

router ospf 1

router-id 10.255.255.3

!

router bgp 65535

router-id 10.255.255.3

address-family ipv4 unicast

address-family l2vpn evpn

neighbor 10.255.255.254

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

vrf RED

address-family ipv4 unicast

advertise l2vpn evpn

!

evpn

vni 1000 l2

rd auto

route-target import auto

route-target export auto

!

end

SPINE

configure terminal

!

hostname SPINE

!

nv overlay evpn

feature ospf

feature bgp

feature nv overlay

!

interface Ethernet1/5

description TO LEAF A

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface Ethernet1/6

description TO LEAF B

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface Ethernet1/1

description TO LEAF C

no switchport

medium p2p

ip unnumbered loopback1

ip ospf network point-to-point

ip router ospf 1 area 0.0.0.0

no shutdown

!

interface loopback1

description OSPF & BGP ID

ip address 10.255.255.254/32

ip router ospf 1 area 0.0.0.0

!

router ospf 1

router-id 10.255.255.254

!

router bgp 65535

router-id 10.255.255.254

address-family ipv4 unicast

address-family l2vpn evpn

retain route-target all

neighbor 10.255.255.1

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

route-reflector-client

neighbor 10.255.255.2

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

route-reflector-client

neighbor 10.255.255.3

remote-as 65535

update-source loopback1

address-family ipv4 unicast

address-family l2vpn evpn

send-community

send-community extended

route-reflector-client

!

end

Verificar

Execute o comando show system nve infra-vlans e certifique-se de que a vlan seja mostrada em infra Vlans atualmente ativas.

FOLHA A

LEAF_A# show system nve infra-vlans

Currently active infra Vlans: 777

Available Infra Vlans : 7-264,266-511,519-776,778-1023,1031-1288,1290-1535,1543-1800,1802-2047,2055-2312,2314-2559,2567-2824,2826-3071,3079-3336,3338-3583,3591-3848,3850-3967

*Configuration of two infra-vlans which are 512 apart is not allowed. Ex: 4, 516 are not allowed to be configured together

LEAF_A#

FOLHA B

LEAF_B# show system nve infra-vlans

Currently active infra Vlans: 777

Available Infra Vlans : 7-264,266-511,519-776,778-1023,1031-1288,1290-1535,1543-1800,1802-2047,2055-2312,2314-2559,2567-2824,2826-3071,3079-3336,3338-3583,3591-3848,3850-3967

*Configuration of two infra-vlans which are 512 apart is not allowed. Ex: 4, 516 are not allowed to be configured together

LEAF_B#

Note: As interfaces físicas da camada 3 são a recomendação para ser usada como uplinks para transportar tráfego de VXLAN na estrutura. As subinterfaces da camada 3 não são suportadas. Para usar as vlans da interface para transportar o tráfego de VXLAN, certifique-se de que a vlan também seja identificada com o comando system nve infra-vlans sobre o peer-link do vPC.

Troubleshoot

Caso o LEAF Um switch sofra de uma falha de uplink e não se conecte mais diretamente ao switch SPINE, a acessibilidade ainda pode ser alcançada com o infra-vlan no link peer do vPC usado como uplink de backup para o switch SPINE.

FOLHA A

LEAF_A# show mac address-table vlan 10

Legend:

* - primary entry, G - Gateway MAC, (R) - Routed MAC, O - Overlay MAC

age - seconds since last seen,+ - primary entry using vPC Peer-Link,

(T) - True, (F) - False, C - ControlPlane MAC, ~ - vsan

VLAN     MAC Address      Type      age     Secure NTFY Ports

---------+-----------------+--------+---------+------+----+------------------

*   10     0000.0000.000a   dynamic  0         F      F    Eth1/54

C   10     0000.0000.000b   dynamic  0         F      F    nve1(10.3.3.3)

G   10     00be.755b.f1b7   static   -         F      F    sup-eth1(R)

G   10     4c77.6db9.a8db   static   -         F      F    vPC Peer-Link(R)

LEAF_A#

LEAF_A# show ip route 10.3.3.3

IP Route Table for VRF "default"

'*' denotes best ucast next-hop

'**' denotes best mcast next-hop

'[x/y]' denotes [preference/metric]

'%<string>' in via output denotes VRF <string>

10.3.3.3/32, ubest/mbest: 1/0

*via 10.1.2.2, Vlan777, [110/49], 00:01:39, ospf-1, intra

LEAF_A#

LEAF_A# show system nve infra-vlans

Currently active infra Vlans: 777

Available Infra Vlans : 7-264,266-511,519-776,778-1023,1031-1288,1290-1535,1543-1800,1802-2047,2055-2312,2314-2559,2567-2824,2826-3071,3079-3336,3338-3583,3591-3848,3850-3967

*Configuration of two infra-vlans which are 512 apart is not allowed. Ex: 4, 516 are not allowed to be configured together

LEAF_A#