Catalyst 9000 스위치의 IPv4 하드웨어 리소스 이해
다운로드 옵션
편견 없는 언어
본 제품에 대한 문서 세트는 편견 없는 언어를 사용하기 위해 노력합니다. 본 설명서 세트의 목적상, 편견 없는 언어는 나이, 장애, 성별, 인종 정체성, 민족 정체성, 성적 지향성, 사회 경제적 지위 및 교차성에 기초한 차별을 의미하지 않는 언어로 정의됩니다. 제품 소프트웨어의 사용자 인터페이스에서 하드코딩된 언어, RFP 설명서에 기초한 언어 또는 참조된 서드파티 제품에서 사용하는 언어로 인해 설명서에 예외가 있을 수 있습니다. 시스코에서 어떤 방식으로 포용적인 언어를 사용하고 있는지 자세히 알아보세요.
이 번역에 관하여
Cisco는 전 세계 사용자에게 다양한 언어로 지원 콘텐츠를 제공하기 위해 기계 번역 기술과 수작업 번역을 병행하여 이 문서를 번역했습니다. 아무리 품질이 높은 기계 번역이라도 전문 번역가의 번역 결과물만큼 정확하지는 않습니다. Cisco Systems, Inc.는 이 같은 번역에 대해 어떠한 책임도 지지 않으며 항상 원본 영문 문서(링크 제공됨)를 참조할 것을 권장합니다.
소개
이 문서에서는 Catalyst 9000 Series 스위치의 IPv4 FIB(Forwarding Information Base) 하드웨어 사용을 이해하고 확인하는 방법에 대해 설명합니다.
사전 요구 사항
요구 사항
이 문서에 대한 특정 요건이 없습니다.
사용되는 구성 요소
이 문서의 정보는 다음 소프트웨어 및 하드웨어 버전을 기반으로 합니다.
- Cisco IOS® XE 16.x 및 17.x 소프트웨어의 Cisco Catalyst 9200, 9300, 9400, 9500(비고성능) 시리즈 스위치
- Cisco IOS® XE 16.x 및 17.x 소프트웨어의 Cisco Catalyst 9500(고성능), 9600 Series 스위치
이 문서의 정보는 특정 랩 환경의 디바이스를 토대로 작성되었습니다. 이 문서에 사용된 모든 디바이스는 초기화된(기본) 컨피그레이션으로 시작되었습니다. 현재 네트워크가 작동 중인 경우 모든 명령의 잠재적인 영향을 미리 숙지하시기 바랍니다.
배경 정보
예상대로 작동하지 않는 기능의 트러블슈팅을 수행할 때, 하드웨어가 해당 스위치의 규모를 벗어나지 않는지 확인하는 것이 좋습니다. 스위치는 이러한 하드웨어 테이블의 크기에 따라 달라질 수 있지만, 검증 및 문제 해결 방법론은 대부분 동일합니다.
이 페이지는 다양한 기능과 하드웨어 스케일 확인 방법에 대한 정보를 찾을 수 있는 참조 페이지이기도 합니다.
이러한 소프트웨어 버전 및 디바이스 유형에 대한 예가 제공됩니다.
- CLI 출력이 크게 다르므로 16.x 및 17.x 소프트웨어 트레인
- 이러한 모델에서 9500(고성능) 및 9600에 해당하는 정보는 다른 Catalyst 9000 스위치와 달리 해시 및 TCAM(Ternary Content Addressable Memory)을 할당합니다
이 문서에서는 다음 작업을 지원합니다.
- 어떤 테이블(해시/TCAM)이 사용되는지 파악
- 문제가 되는 테이블의 내용을 이해합니다.
- 특정 테이블이 사용된 이유 이해(해시 대 TCAM)
- 리소스 문제를 나타내는 로그 또는 오류 메시지 이해
- 하드웨어 리소스 할당 문제를 해결하기 위해 수행할 작업
참고: 스위치에서 VRF(Virtual Routing and Forwarding)를 사용할 경우, 총 사용량에는 각 VRF의 사용량이 포함되어야 합니다.
비디오
이 비디오에서는 FIB 하드웨어 리소스 문제의 트러블슈팅: Catalyst 9000 스위치 FIB 하드웨어 리소스 고갈 트러블슈팅
용어
| 조정 |
인접성(테이블) |
패킷 재작성에 사용되는 다음 홉 정보를 저장합니다. |
| 디디어 |
대상 색인 |
아웃바운드 인터페이스를 가리키는 색인 |
| 엠 |
완전 일치 |
해시 메모리의 1:1 일치 항목(호스트 경로, 직접 연결 호스트) |
| fib |
전달 정보 데이터베이스 |
RIB(Routing Information Base) 및 ARP(Address Resolution Protocol) 테이블에서 접두사를 추가하고 ADJ 테이블에 대한 포인터를 사용하는 간소화된 테이블 |
| 연방 |
포워드 엔진 드라이버 |
ASIC(Application Specific Integrated Circuit)(하드웨어) 계층 |
| FMAN-FP |
Forward Manager - 포워딩 플레인 |
FMAN-FP는 FED 정보를 추가, 삭제 또는 수정하는 소프트웨어 객체를 관리합니다 |
| LPM |
최장 접두사 일치 |
/31 이하의 모든 경로(/32 경로는 EM 유형) |
| 리 |
인덱스 다시 쓰기 |
다음 홉 인접성으로 포워딩하는 레이어 3에 대한 MAC 주소 재작성 정보 |
| 갈비 |
라우팅 정보 베이스 |
"show ip route"에 표시된 라우팅 테이블 |
| SDM |
데이터베이스 관리자 전환 |
스위치 하드웨어 리소스를 필요로 하는 다양한 기능(MAC 주소, 경로, 액세스 목록 항목)에 할당하는 소프트웨어 프로세스 |
| SI |
스테이션 인덱스 |
스테이션 인덱스 = 패킷 재작성 정보(RI = 재작성 인덱스) 및 아웃바운드 인터페이스 정보(DI = 대상 인덱스) |
| TCAM |
터너리 내용 주소화 메모리 |
0, 1, X 등 세 가지 입력으로 항목을 저장하고 쿼리하는 메모리의 유형입니다. 이 유형의 메모리는 동일한 엔트리에 대해 여러 일치가 있을 수 있고 각각에 대한 결과 Hash가 고유하지 않은 경우에 사용해야 합니다. 이 테이블에는 마스크 또는 "X" 값이 포함되어 있으므로 이 항목과 일치하는지 또는 일치하지 않는지 확인할 수 있습니다. |
| UADP |
Cisco 통합 액세스™ 데이터 플레인 |
스위치에 사용되는 ASIC 아키텍처 |
| 직접 연결됨 |
직접 연결 경로 |
로컬로 연결된 호스트 접두사(ARP 인접) |
| 간접적으로 연결됨 |
간접적으로 연결된 경로 |
원격 다음 홉을 통해 도달할 경로 |
| SGT |
||
| SXP |
||
| CTS(Trustsec) |
일반 하드웨어 검증 명령
이러한 명령은 사용된 해시, TCAM, 인터페이스 및 재작성 리소스에 대한 상위 레벨 사용량 통계를 표시합니다. 이러한 리소스는 관련되어 있으며, 언급된 리소스 중 하나의 고갈은 사용 가능한 다른 리소스를 완전히 사용하는 능력에 영향을 줄 수 있습니다.
예: 스위치에 사용 가능한 해시/TCAM이 있지만 인접성이 부족할 수 있습니다. 스위치에서 새 재작성 항목을 프로그래밍할 수 없으므로 패킷을 전달하는 기능이 대상 접두사에 영향을 줄 수 있습니다.
show platform hardware fed switch active fwd-asic resource tcam utilization <-- Hash & TCAM
show platform hardware fed switch active fwd-asic resource utilization <-- SI/RI/DI/etc (other related resources)
show platform hardware fed switch active fwd-asic resource rewrite utilization <-- IP Adjacency. LISP adjacency, Tunnel Adjacency, etc
참고: 이러한 명령에 대한 자세한 내용은 "System Management Configuration Guide"의 "Chapter: Configuring SDM Templates"를 참조하십시오
IPv4 확장 Syslog
이 시나리오에서는 각 테이블이 사용되는 방법과 하나 이상의 테이블이 배율 범위에 있거나 이를 초과하는 경우 수행할 작업을 보여 줍니다. 또한 IP 목적지로 전달하는 데 필요한 종속 리소스도 다룹니다.
증상: 리소스가 확장되지 않음
- 디바이스 또는 접두사 연결 문제 존재하거나 디바이스가 연결 가능한 상태를 유지할 수 있지만 신규 또는 업데이트된 접두사는 연결 불가합니다.
- 로그 메시지는 하드웨어가 새 개체 업데이트를 수행할 수 없음을 나타냅니다
- 소프트웨어를 하드웨어로 프로그래밍하는 객체 레이어가 혼잡해짐
- 영향을 받는 하드웨어 레이어에 항목이 없습니다(이 경우 FIB는 영향을 받는 레이어임).
특정 IPv4 FIB 또는 Adjacency 리소스가 부족하면 시스템에서 SYSLOG 메시지를 생성합니다
| IPv4 FIB 로그 메시지 |
정의 |
복구 작업 |
| %FED_L3_ERRMSG-3-RSRC_ERR: 스위치 1 R0/0: fed: 하드웨어 리소스 소진으로 인해 fib 항목에 하드웨어 리소스를 할당하지 못했습니다. |
IPv4 FIB 항목에 예약된 하드웨어의 공간이 부족합니다(EM 또는 TCAM). |
경로를 요약하거나 다른 작업을 수행하여 FIB 항목의 규모를 줄입니다(EM 또는 TCAM 중 소진된 항목일 수 있음). |
| %FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed:adj 항목에 대한 하드웨어 리소스를 할당하지 못했습니다. rc:1 |
인접성 테이블이 모두 사용되었습니다. 다음 홉 대상 MAC 주소가 저장된 하드웨어의 표입니다. |
직접 연결(ARP 인접) 호스트의 규모 축소 |
사용 예
사용 예(비 HP 16.12.x)
| 소프트웨어 |
하드웨어 |
| 16.12.5 |
Catalyst 9200 9300 9400 9500(비고성능) 스위치 |
기준 리소스 사용량
##### Baseline Setup & Usage #####
C9300#show version | include IOS
Cisco IOS XE Software, Version 16.12.05
Cisco IOS Software [Gibraltar], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 16.12.5, RELEASE SOFTWARE (fc3)
C9300-48U
C9300##show ip interface brief | exclude unassigned
Interface IP-Address OK? Method Status Protocol
<...empty...> <-- no Switch Virtual Interface (SVI) or any IP configured
/// TCAM and Hash ///
C9300#show platform hardware fed switch actitve fwd-asic resource tcam utilization
CAM Utilization for ASIC [0]
Table Max Values Used Values
--------------------------------------------------------------------------------
Directly or indirectly connected routes 24576/8192 3/19 <-- 3 hash / 19 TCAM is base usage
/// Adjacencies ///
C9300#show platform software fed switch active ip adj
IPV4 Adj entries
dest if_name dst_mac si_hdl ri_hdl pd_flags adj_id Last-modified
---- ------- ------- ------ ------ -------- ----- ------------------------
C9300#show platform hardware fed switch active fwd-asic resource rewrite utilization
Resource Info for ASIC Instance: 0
Rewrite Data Allocated Free
-------------------------------------------------------
PHF_EGRESS_destMacAddress 0 32000 <-- Next hop Dest MAC for packet rewrite
/// SI DI RI resources ///
C9300#show platform hardware fed switch active fwd-asic resource utilization | include RSC_SI_|RSC_RI__
Resource Info for ASIC Instance: 0
Resource Name Allocated Free
------------------------------------------
RSC_RI 3 57317 <-- Rewrite Index
RSC_SI 521 64847 <-- Station Index
/24 마스크를 사용하여 SVI Vlan 1 IP 주소 추가
### ADD SVI IP with /24 mask length ###
C9300(config)#interface vlan 1
C9300(config-if)#ip address 10.10.10.1 255.255.255.0
C9300#show ip interface brief | inc up
Vlan1 10.10.10.1 YES manual up up
C9300#show platform hardware fed switch active fwd-asic resource tcam utilization
CAM Utilization for ASIC [0]
Table Max Values Used Values
--------------------------------------------------------------------------------
Directly or indirectly connected routes 24576/8192 6/20 <-- usage = +3 hash, +1 TCAM
C9300#show platform software fed switch active ip adj
IPV4 Adj entries
dest if_name dst_mac si_hdl ri_hdl pd_flags adj_id Last-modified
---- ------- ------- ------ ------ -------- ----- ------------------------
227.0.0.0 Vlan1 0100.5e00.0000 0x7f4880ce37e8 0x7f4880cf3648 0x0 0xf80004b4 2021/02/26 17:48:47.992 <-- 1 Adj created for mcast
C9300#show platform hardware fed switch active fwd-asic resource rewrite utilization
Resource Info for ASIC Instance: 0
Rewrite Data Allocated Free
-------------------------------------------------------
PHF_EGRESS_destMacAddress 1 31999 <-- 1 Adj used for mcast
EM 접두사 3개 추가(/32 마스크)
### Configuration adds 3 /32 prefixes and uses 3 Hash Entries ###
interface loopback 1
ip address 10.111.111.1 255.255.255.255 <-- Local /32 prefix
!
ip route 10.111.111.2 255.255.255.255 vlan 1 <-- An Indirect EM prefix (same consumption occurs when learnt via routing protocol)
!
arp 10.10.10.100 aaaa.bbbb.cccc arpa <-- Static ARP entry in Vlan 1 (same consumption occurs when learnt dynamically)
### Usage Result ###
/32 Loopback creation, /32 Indirect route, ARP entry only use Hash table. No TCAM used.
C9300#show platform hardware fed switch active fwd-asic resource tcam utilization
CAM Utilization for ASIC [0]
Table Max Values Used Values
--------------------------------------------------------------------------------
Directly or indirectly connected routes 24576/8192 9/20 <-- usage = 3 Hash, 0 TCAM
사용 예(비 HP 17.x)
| 소프트웨어 |
하드웨어 |
| 17.x |
Catalyst 9200 9300 9400 9500(비고성능) 스위치 |
기준 리소스 사용량
##### Baseline Setup & Usage #####
C9400#show version | include IOS
Cisco IOS XE Software, Version 17.03.02a
Cisco IOS Software [Amsterdam], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 17.3.2a, RELEASE SOFTWARE (fc5)
C9400-SUP-1
C9400#show ip interface brief | exclude unassigned
Interface IP-Address OK? Method Status Protocol
<...empty...> <-- no SVI or any IP configured
C9400#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable
CAM Utilization for ASIC [0]
Table Subtype Dir Max Used %Used V4 V6 MPLS Other
------------------------------------------------------------------------------------------------------
IP Route Table EM I 49152 3 0.01% 2 0 1 0 <-- 3 hash
IP Route Table TCAM I 65536 15 0.02% 6 6 2 1 <-- 15 TCAM
C9400#show platform software fed active ip adj
IPV4 Adj entries
dest if_name dst_mac si_hdl ri_hdl pd_flags adj_id Last-modified
---- ------- ------- ------ ------ -------- ----- ------------------------
New CLI collects usage information for all resources related to all IP Routing in one output
### !!! New CLI displays multiple resources in one place !!! ###
C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization
IPv4 unicast adjacency resource info
Resource Info for ASIC Instance: 0 [A:0, C:0]
Shared Resource Name Allocated Free Usage%
----------------------------------------------------------------------------------
RSC_RI 3 57317 0.01 <-- Rewrite Index
RSC_SI 520 64848 0.80 <-- Station Index
Rewrite Data Allocated Free Usage%
-----------------------------------------------------------------------------------
PHF_EGRESS_destMacAddress 0 32000 0.00 <-- Next hop Dest MAC for packet rewrite
CAM Table Utilization Info Allocated Free Usage%
------------------------------------------------------------------------------------
IP Route table Host/Network 3/ 15 49149/327 0.01/ 0.05 <-- Hash / TCAM Table usage
/24 마스크를 사용하여 SVI Vlan 1 IP 주소 추가
C9400(config)#interface vlan 1
C9400(config-if)#ip address 10.10.10.1 255.255.255.0
C9400#show ip interface brief | exclude unassigned
Interface IP-Address OK? Method Status Protocol
Vlan1 10.10.10.1 YES manual up up
C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization
Resource Info for ASIC Instance: 1 [A:0, C:1]
Shared Resource Name Allocated Free Usage%
----------------------------------------------------------------------------------
RSC_RI 4 57316 0.01 <-- 1 Rewrite Index
RSC_SI 520 64848 0.80
Rewrite Data Allocated Free Usage%
-----------------------------------------------------------------------------------
PHF_EGRESS_destMacAddress 1 31999 0.00 <-- 1 Adj used for mcast
CAM Table Utilization Info Allocated Free Usage%
------------------------------------------------------------------------------------
IP Route table Host/Network 6/ 16 49146/32752 0.01/ 0.05 <-- 3 Hash + 1 TCAM
C9400#show platform software fed active ip adj
IPV4 Adj entries
dest if_name dst_mac si_hdl ri_hdl pd_flags adj_id Last-modified
---- ------- ------- ------ ------ -------- ----- ------------------------
227.0.0.0 Vlan1 0100.5e00.0000 0x7fd8fd1654c8 0x7fd8fc8e6098 0x0 0xf8000444 2015/01/01 00:49:54.758 <-- 1 Adj created for mcast
EM 접두사 3개 추가(/32 마스크)
### Configuration adds 3 /32 prefixes and uses 3 Hash Entries ###
interface loopback 1
ip address 10.111.111.1 255.255.255.255 <-- Local /32 prefix
!
ip route 10.111.111.2 255.255.255.255 vlan 1 <-- An Indirect EM prefix (same consumption occurs when learnt via routing protocol)
!
arp 10.10.10.100 aaaa.bbbb.cccc arpa <-- Static ARP entry in Vlan 1 (same consumption occurs when learnt dynamically)
### Usage Result ###
/32 Loopback creation, /32 Indirect route, ARP entry only use Hash table. No TCAM used.
C9400#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable
CAM Utilization for ASIC [0]
Table Subtype Dir Max Used %Used V4 V6 MPLS Other
------------------------------------------------------------------------------------------------------
IP Route Table EM I 49152 9 0.02% 8 0 1 0 <-- Previously was 6, + 3 for /32 EM
IP Route Table TCAM I 65536 16 0.02% 8 6 2 1 <-- Previously was 16, no change
C9400#show platform hardware fed active fwd-asic resource features ip-adjacency utilization
IPv4 unicast adjacency resource info
Resource Info for ASIC Instance: 1 [A:0, C:1] <-- ASIC 0, Core 1
Shared Resource Name Allocated Free Usage%
----------------------------------------------------------------------------------
RSC_RI 5 57315 0.01 <-- One Rewrite index
RSC_SI 522 64846 0.80 <-- Two Station Index
Rewrite Data Allocated Free Usage%
-----------------------------------------------------------------------------------
PHF_EGRESS_destMacAddress 2 31998 0.01 <-- One Dest MAC used for ARP entry
CAM Table Utilization Info Allocated Free Usage%
------------------------------------------------------------------------------------
IP Route table Host/Network 9/ 16 49143/32752 0.02/ 0.05 <-- 9 EM, 16 TCAM
사용 예(HP 및 9600 17.x)
| 소프트웨어 |
하드웨어 |
| 17.x |
Catalyst 9500(고성능), 9600 스위치 |
참고: 9500(고성능) 및 9600의 경우 17.x CLI만 제공됩니다. 16.x 예는 이전 섹션을 참조하십시오.
기준 리소스 사용량
##### Baseline Setup & Usage #####
9500H#show version | include IOS
Cisco IOS XE Software, Version 17.04.01
Cisco IOS Software [Bengaluru], Catalyst L3 Switch Software (CAT9K_IOSXE), Version 17.4.1, RELEASE SOFTWARE (fc5)
C9500-24Y4C
C9500H#show ip interface brief | exclude unassigned
Interface IP-Address OK? Method Status Protocol
<...empty...> <-- no SVI or any IP configured
C9500H#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable
CAM Utilization for ASIC [0]
Table Subtype Dir Max Used %Used V4 V6 MPLS Other
------------------------------------------------------------------------------------------------------
IP Route Table EM/LPM I 65536 3 0.00% 2 0 1 0 <-- 3 hash (EM/LPM)
IP Route Table TCAM I 1536 11 0.72% 6 3 2 0 <-- 11 TCAM
C9500H#show platform software fed active ip adj
IPV4 Adj entries
dest if_name dst_mac si_hdl ri_hdl pd_flags adj_id Last-modified
---- ------- ------- ------ ------ -------- ----- ------------------------
New CLI collects usage information for all resources related to all IP Routing in one output
### !!! New CLI displays multiple resources in one place !!! ###
C9500#show platform hardware fed active fwd-asic resource features ip-adjacency utilization
IPv4 unicast adjacency resource info
Resource Info for ASIC Instance: 0 [A:0, C:0] <-- ASIC 0 Allocation
Shared Resource Name Allocated Free Usage%
----------------------------------------------------------------------------------
RSC_RI 3 90085 0.00 <-- Rewrite Index
RSC_SI 517 130397 0.39 <-- Station Index
Rewrite Data Allocated Free Usage%
-----------------------------------------------------------------------------------
PHF_EGRESS_destMacAddress 0 98304 0.00 <-- Next hop Dest MAC for packet rewrite
CAM Table Utilization Info Allocated Free Usage%
------------------------------------------------------------------------------------
IP Route table Host/Network 4/ 12 98300/1524 0.00/ 0.78 <-- Hash / TCAM Table usage
문제 해결
확장 제한 및 복원(UADP 2.0 스위치)
이 섹션에서는 IPv4에 대해 TCAM이 소진되는 한 가지 활용 사례에 대해 설명합니다.
- 이 예에서 시뮬레이션된 접두사는 /24입니다.
- 프로토콜 BGP
- 플랫폼 9400
- Cisco IOS XE 17.3.2
기준 사용
9400 Sup-1에서는 /31 이하의 접두사가 EM이 아니라 TCAM을 소비합니다
- TCAM에 추가할 수 있는 최대 IPv4 접두사 수는 65535입니다.
참고: IP 경로 EM 및 TCAM은 MPLS(Multiprotocol Label Switching)에서도 사용됩니다. MPLS 레이블은 EM에 먼저 추가된 다음 제한에 도달하면 TCAM으로 오버플로됩니다. 디바이스가 MPLS PE(Provider Edge)이고 VPNv4 레이블을 할당하는 경우 이 값을 총 수에서 뺍니다.
참고: EM 메모리가 먼저 채워지면 TCAM 메모리로 오버플로가 허용된다는 사실도 중요합니다. 스위치가 49152 EM 항목 이상으로 확장되는 경우 TCAM은 Connected 및 /32 경로로 채울 수 있습니다. 그러나 TCAM이 가득 차면 EM으로 넘치지 않으므로 반대 현상이 발생하지 않습니다
C9407R#show platform hardware fed active fwd-asic resource tcam utilization Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable CAM Utilization for ASIC [0] Table Subtype Dir Max Used %Used V4 V6 MPLS Other ------------------------------------------------------------------------------------------------------ Mac Address Table EM I 65536 20 0.03% 0 0 0 20 Mac Address Table TCAM I 1024 21 2.05% 0 0 0 21 L3 Multicast EM I 16384 0 0.00% 0 0 0 0 L3 Multicast TCAM I 1024 9 0.88% 3 6 0 0 L2 Multicast EM I 16384 0 0.00% 0 0 0 0 L2 Multicast TCAM I 1024 11 1.07% 3 8 0 0 IP Route Table EM I 49152 31 0.06% 18 0 13 0 IP Route Table TCAM I 65536 24 0.04% 15 6 2 1
<...snip...>
BGP를 통해 80000 접두사 삽입
C9407R#show bgp vpnv4 unicast all summary BGP router identifier 10.255.255.255, local AS number 65000 BGP table version is 580445, main routing table version 580445 80003 network entries using 20480768 bytes of memory 80003 path entries using 10880408 bytes of memory 16002/8001 BGP path/bestpath attribute entries using 4864608 bytes of memory 8002 BGP AS-PATH entries using 533708 bytes of memory 1 BGP extended community entries using 24 bytes of memory 0 BGP route-map cache entries using 0 bytes of memory 0 BGP filter-list cache entries using 0 bytes of memory BGP using 36759516 total bytes of memory BGP activity 420126/340116 prefixes, 475340/395329 paths, scan interval 60 secs 80009 networks peaked at 04:52:57 Jan 1 2015 UTC (01:02:51.236 ago) Neighbor V AS MsgRcvd MsgSent TblVer InQ OutQ Up/Down State/PfxRcd 192.168.1.2 4 65001 101 40485 501775 0 0 01:25:44 0 192.168.1.6 4 65002 31330 96 580445 0 0 01:23:30 80003 <-- 80K prefixes injected in range 172.18.x.x
C9407R#show platform hardware fed active fwd-asic resource tcam utilization Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable CAM Utilization for ASIC [0] Table Subtype Dir Max Used %Used V4 V6 MPLS Other ------------------------------------------------------------------------------------------------------ Mac Address Table EM I 65536 20 0.03% 0 0 0 20 Mac Address Table TCAM I 1024 21 2.05% 0 0 0 21 L3 Multicast EM I 16384 0 0.00% 0 0 0 0 L3 Multicast TCAM I 1024 9 0.88% 3 6 0 0 L2 Multicast EM I 16384 0 0.00% 0 0 0 0 L2 Multicast TCAM I 1024 11 1.07% 3 8 0 0 IP Route Table EM I 49152 31 0.06% 18 0 13 0 IP Route Table TCAM I 65536 65536 100.00% 65527 6 2 1 <-- Limit is reached and TCAM cannot program all prefixes
로그 메시지는 FED가 FIB 유형 항목을 프로그래밍할 수 없음을 나타냅니다.
%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054
솔루션
이러한 유형의 확장 문제를 해결하려면 접두사 요약이 필요합니다. 요약할 방법은 사용된 프로토콜, 서브넷의 인접 여부, 특정 환경에 따라 달라집니다.
- 이 예에서 BGP는 프로토콜이며 요약 기술은 이 페이지에서 찾을 수 있습니다. IP Routing Configuration Guide, Cisco IOS XE Amsterdam 17.3.x (Catalyst 9500 Switches) - Chapter: Configuring BGP
- 다른 요약 기술은 이 문서의 관련 정보 섹션에서 찾을 수 있습니다. (제공되는 모든 링크는 9500 컨피그레이션 페이지에서 제공됩니다. 필요에 따라 다른 플랫폼 가이드를 참조하십시오.
또한 접두사 길이별로 하드웨어에 설치된 접두사를 확인하여 각 길이의 개수를 확인하고 필요한 경우 요약할 수 있습니다.
C9300-48U#show platform software fed switch active ip route summary Total number of v4 fib entries = 1024 <-- total prefix count Total number succeeded in hardware = 1024 <-- total successfully installed in hardware Mask-Len 0 :- Total-count 2 hw-installed count 2 Mask-Len 4 :- Total-count 2 hw-installed count 2 Mask-Len 8 :- Total-count 4 hw-installed count 4 Mask-Len 24 :- Total-count 1000 hw-installed count 1000 <-- breakdown by mask length Mask-Len 30 :- Total-count 2 hw-installed count 2 Mask-Len 32 :- Total-count 14 hw-installed count 14
<...snip...>
확장 제한 및 복원(UADP 3.0 스위치)
"Catalyst 9000 스위치의 하드웨어 리소스 이해" 문서에 설명된 것처럼 UADP 3.0 기반 스위치는 EM(Exact Match) 및 LPM(Longest Prefix Match) 항목을 모두 결합하는 최적화된 FIB 메모리를 사용합니다. TCAM 메모리로 나열되는 것은 오버플로, 충돌 및 기타 예외에만 사용됩니다.
TCAM의 활용도가 높고 EM/LPM의 활용도가 낮은 경우(근사값이나 최대값이 아님), 이는 접두사 길이가 너무 많이 사용되는 네트워크 설계 때문일 수 있습니다. EM/LPM은 특정 수의 마스크 길이만 프로그래밍할 수 있지만 그 수는 정적이지 않습니다. EM/LPM이 프로그래밍할 수 있는 마스크의 양은 SDM 템플릿에 따라 다르며, 네트워크의 경로 규모에 따라 더 달라집니다.
요약하면, UADP 3.0의 경우 SDM 컨피그레이션, 경로 규모(경로 수) 및 접두사 길이 차이(고유한 서브넷 마스크 수) 간에 동적 균형이 유지됩니다. IP 경로 테이블 EM/LPM이 최대치에 근접하기 전에 IP 경로 테이블 TCAM이 모두 소모된 경우, SDM 컨피그레이션, 경로 배율(경로 수) 및 접두사 길이 차이(고유한 서브넷 마스크 수)로 인해 문제가 발생할 수 있습니다.
FIB 규모 제한이 발생하면 하드웨어가 프로그래밍하지 못했음을 나타내는 syslog가 생성됩니다.
%FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054
참고: syslog는 EM/LPM, TCAM 등이 아닌 일반 오류만 나타냅니다. 추가 명령을 실행하여 문제가 있는 항목을 확인해야 합니다.
9500-48Y4C(9500H/고성능 - UADP 3.0 기반 스위치)
EM/LPM 이전에 사용된 TCAM의 예:
- 표시된 출력은 FIB(IP Route Table) TCAM이 가득 찼지만 EM/LPM은 가득 차지 않았음을 나타냅니다.
- 스위치가 EM/LPM 메모리에 있는 고정 크기 테이블의 여러 인스턴스에 접두사와 해당 마스크를 할당한다는 점을 이해합니다
- 지정된 테이블 인스턴스는 IPv4 또는 IPv6 접두사 길이를 하나만 나타냅니다. 마스크는 하드웨어의 모든 접두사 항목에 대해 저장되지 않으며, 전체적으로 테이블 인스턴스에 대해서만 저장되므로 귀중한 하드웨어 공간이 절약됩니다.
- 하드웨어 테이블에 접두사 마스크를 할당하는 작업은 동적이며, 작동하는 데 입력이 필요하지 않습니다.
Switch#show platform hardware fed active fwd-asic resource tcam utilization
Codes: EM - Exact_Match, I - Input, O - Output, IO - Input & Output, NA - Not Applicable
CAM Utilization for ASIC [0]
Table Subtype Dir Max Used %Used V4 V6 MPLS Other
------------------------------------------------------------------------------------------------------
IP Route Table EM/LPM I 212992 134345 63.08% 2 0 1 0 <-- 63% (EM is not near or at its limit)
IP Route Table TCAM I 1536 1516 98.70% 6 6 2 1 <-- 98% (TCAM is used before EM has reached scale limit)
이 시나리오에서는 EM/LPM 테이블의 활용도가 낮을 수 있습니다.
- 할당된 각 새 테이블에 대해 특정 접두사 마스크 길이가 해당 테이블 전용입니다. 이제 해당 테이블의 모든 항목이 해당 마스크 길이로 제한됩니다. 해당 테이블 인스턴스에 대한 최대 항목 수보다 적은 항목이 있는 경우 유효 사용률은 해당 테이블 인스턴스에 남아 있는 항목 수만큼 감소됩니다. 일부 다른 마스크 길이에 대해서는 재확보할 수 없습니다.
- 여러 마스크 길이에 걸쳐 이 차선의 사용률을 반복하면 EM/LPM 메모리의 효과적인 사용률이 크게 감소합니다.
- EM/LPM 테이블을 더 이상 새 마스크 길이에 사용할 수 없는 경우 해당 마스크가 포함된 접두사가 대신 설치되어 TCAM으로 오버플로됩니다. 제한된 TCAM 공간이 빠르게 채워집니다.
- EM/LPM에 사용할 수 있는 테이블 수는 SDM 구성에 따라 달라집니다.
접두사 양이 적은 마스크와 결합된 마스크 길이의 광범위한 분포는 많은 테이블이 할당되고 많은 테이블의 활용도가 낮은 시나리오를 초래합니다. 이로 인해 UADP 3.0 기반 스위치에서 이상적인 최대 하드웨어 사용률에 도달하기 전에 "fib에 하드웨어 리소스를 할당하지 못했습니다..." 오류가 나타납니다.
단일 접두사 길이에 할당된 테이블 인스턴스의 수가 증가하면 다른 길이의 접두사에 사용할 수 있는 테이블이 부족할 수 있습니다.
서브최적 사용은 접두사 길이의 엔트리의 양이 그 접두사가 속하는 마지막 테이블을 완전히 활용하지 않을 때 발생할 수 있다.
이 예에서는 9500-48Y4C 스위치에서 학습한 4500 eBGP 접두사를 보여 줍니다.
- 각 테이블에는 약 2048개의 경로/항목이 있을 수 있습니다.
- 이 하드웨어에는 2048과 8192의 두 가지 고정 크기 테이블이 있습니다. 경로 규모, 접두사 사용 및 사용된 SDM 템플릿에 따라 동적으로 할당됩니다
- 이 예에서는 2048개 크기의 테이블 3개가 /32로 표시되어 /32 마스크 길이의 4500개 경로를 유지합니다. 2048 크기의 테이블 중 일부에는 /32 IPv4 경로에만 할당된 공간이 있습니다.
이는 다음 CLI를 통해 확인할 수 있습니다.
F241.03.23-C9500-2#show platform software fed active hash l3unicast ********************* TABLE INFO ASIC 0 ********************************* Index Hash Id Table Id Size Used Mode Asic Core BaseIdx 1 8 0 2048 11 Normal 0 0 0 2 8 1 2048 0 Normal 0 0 2048 ... Total Entries: 11 <<<< minimal entries, no routes yet injected from eBGP *************************** MASK INFO ********************************* Mask Id Table Count Size Available Hash Entries Overflow Entries 1 0 0 0 0 1 ... 33 1 2048 2037 7 0 <<<< Mask ID 33 = IPv4 Mask 32. Hardware Masks beyond 33 are for IPv6, MPLS,
or other features. ... NOTE: 7 hash (EM/LPM) entries are used already, 0 overflow (TCAM) ******* MASK ALLOCATION INFO PER TABLE FOR ASIC 0 ******* Asic: 0 Core: 0 Hash Id: 8 Table Id: 0 Index MASK GMR/LPM Idx Used 0 33 2 7 1 162 2 3 2 164 0 1 Asic: 0 Core: 1 Hash Id: 11 Table Id: 7 Index MASK GMR/LPM Idx Used 0 0 0 0 1 139 2 0
Inject 4500 eBGP IPv4 routes; F241.03.23-C9500-2#show platform software fed active hash l3unicast ********************* TABLE INFO ASIC 0 ********************************* Index Hash Id Table Id Size Used Mode Asic Core BaseIdx 1 8 0 2048 2048 Normal 0 0 0 <<< Table index 1 fully utilized 2 8 1 2048 423 Normal 0 0 2048 <<< Table index 2 423 / 2048 utilized,
must be used for /32 IPv4 prefixes or other features ... 56 11 7 2048 2029 Normal 0 1 112640 Total Entries: 4500 *************************** MASK INFO ********************************* Mask Id Table Count Size Available Hash Entries Overflow Entries ... 33 3 6144 1644 4496 1 <<< Hardware Mask 33 increased table count to 3, 1644 "available" spots for /33 (for example IPv4 /32) ******* MASK ALLOCATION INFO PER TABLE FOR ASIC 0 ******* Asic: 0 Core: 0 Hash Id: 8 Table Id: 0 Index MASK GMR/LPM Idx Used 0 33 2 2044 1 162 2 3 <<< Another interface is configured with IPv6, hence the/162 mask. /162 mask in hardware = /128 in IPv6. Asic: 0 Core: 0 Hash Id: 8 Table Id: 1 Index MASK GMR/LPM Idx Used 0 33 2 423 Asic: 0 Core: 1 Hash Id: 11 Table Id: 7 Index MASK GMR/LPM Idx Used 0 33 2 2029 />
다음 예에서는 /11에서 /32까지의 모든 마스크 길이에 대해 새 테이블을 강제로 사용하도록 최소 접두사를 삽입합니다.
이는 Cisco IOS XE 17.3에서 "Distribution" SDM 템플릿을 사용하여 구현되며, 여기에는 FIB 항목에 동적으로 할당할 수 있는 56개의 테이블이 있습니다.
- /32 길이가 접두사를 74000개까지 확장됩니다.
- /12 - 접두사 300개
- /11 - 1250개의 접두사
- /13에서 /32 사이의 마스크 길이에는 약 12개의 접두사가 포함됩니다. 더 적은 수의 마스크와 하드웨어는 지정된 마스크 길이의 접두사를 저장하기 위해 TCAM을 사용하도록 선택할 수 있습니다.
주: EM/LPM 및 TCAM 할당을 제어하는 하드웨어 알고리즘은 복잡하여 사용자 컨피그레이션과 하드웨어의 제한 사항을 모두 조정합니다. 이 문서에 제시된 결과는 시스템이 프로덕션 네트워크에서 어떻게 작동할 수 있는지를 완전히 나타내지 못합니다.
F241.03.23-C9500-2#show platform hardware fed active fwd-asic resource tcam utilization | include Subtype|IP Route Table Subtype Dir Max Used %Used V4 V6 MPLS Other IP Route Table EM/LPM I 114688 11 0.01% 7 3 1 0 IP Route Table TCAM I 1536 15 0.98% 7 6 2 0 Inject the routes... *Jan 8 16:17:47.762: %FED_L3_ERRMSG-3-RSRC_ERR: R0/0: fed: Failed to allocate hardware resource for fib entry due to hardware resource exhaustion - rc:2054 F241.03.23-C9500-2#show platform hardware fed active fwd-asic resource tcam utilization | include Subtype|IP Route Table Subtype Dir Max Used %Used V4 V6 MPLS Other IP Route Table EM/LPM I 114688 73326 63.94% 73322 3 1 0 <<< EM/LPM at 63.94% IP Route Table TCAM I 1536 1535 99.93% 1527 6 2 0 <<< TCAM nearly full F241.03.23-C9500-2#show platform software fed active ip route summary Total number of v4 fib entries = 75789 Total number succeeded in hardware = 74847 Mask-Len 0 :- Total-count 1 hw-installed count 1 Mask-Len 4 :- Total-count 1 hw-installed count 1 Mask-Len 8 :- Total-count 2 hw-installed count 2 Mask-Len 11 :- Total-count 1250 hw-installed count 1250 Mask-Len 12 :- Total-count 300 hw-installed count 300 Mask-Len 13 :- Total-count 12 hw-installed count 12 Mask-Len 14 :- Total-count 12 hw-installed count 12 Mask-Len 15 :- Total-count 12 hw-installed count 12 Mask-Len 16 :- Total-count 12 hw-installed count 12 Mask-Len 17 :- Total-count 12 hw-installed count 12 Mask-Len 18 :- Total-count 12 hw-installed count 12 Mask-Len 19 :- Total-count 12 hw-installed count 12 Mask-Len 20 :- Total-count 12 hw-installed count 12 Mask-Len 21 :- Total-count 12 hw-installed count 12 Mask-Len 22 :- Total-count 12 hw-installed count 12 Mask-Len 23 :- Total-count 12 hw-installed count 12 Mask-Len 24 :- Total-count 12 hw-installed count 12 Mask-Len 25 :- Total-count 12 hw-installed count 12 Mask-Len 26 :- Total-count 12 hw-installed count 12 Mask-Len 27 :- Total-count 12 hw-installed count 12 Mask-Len 28 :- Total-count 12 hw-installed count 12 Mask-Len 29 :- Total-count 12 hw-installed count 12 Mask-Len 30 :- Total-count 12 hw-installed count 12 Mask-Len 31 :- Total-count 12 hw-installed count 12 Mask-Len 32 :- Total-count 74007 hw-installed count 73065 <<< 74007 total /32 known by software, 73065 successfully installed in hardware F241.03.23-C9500-2#show platform software fed active hash l3unicast ********************* TABLE INFO ASIC 0 ********************************* Index Hash Id Table Id Size Used Mode Asic Core BaseIdx 1 8 0 2048 2048 Normal 0 0 0 ... 56 11 7 2048 12 Normal 0 1 112640 <<< Table indexes 1-56 (varies with SDM) will exist and all show some amount in "used" column *************************** MASK INFO ********************************* Mask Id Table Count Size Available Hash Entries Overflow Entries 1 0 0 0 0 1 5 0 0 0 0 1 9 0 0 0 0 2 10 0 0 0 0 0 11 0 0 0 0 0 12 1 2048 809 1239 11 13 1 2048 1759 289 11 14 1 2048 2047 1 11 15 1 2048 2047 1 11 16 1 2048 2047 1 11 17 1 2048 2036 12 0 18 1 2048 2036 12 0 19 1 2048 2036 12 0 20 1 2048 2036 12 0 21 1 2048 2036 12 0 22 1 2048 2036 12 0 23 1 2048 2036 12 0 24 1 2048 2036 12 0 25 1 2048 2036 12 0 26 1 2048 2047 1 11 27 1 2048 2047 1 11 28 1 2048 2047 1 11 29 1 2048 2047 1 11 30 1 2048 2047 1 11 31 1 2048 2047 1 11 32 1 2048 2047 1 11 33 35 71680 0 71676 1389 <<< Mask ID /33 allocated 35 tables, 71680 entries, 716676 in EM/LPM (Hash). There are 1389 hw-installed entries in TCAM.
이 시나리오를 해결하려면 우선 순위에 따라 이러한 옵션을 하나 이상 사용합니다
- 대체 SDM 템플릿을 조사합니다.
- FIB/IP 라우트 확장 템플릿을 통해 이 FIB에서 사용할 수 있는 총 하드웨어 테이블이 증가합니다. 이를 통해 효과적인 사용률(사용된 항목/사용 가능한 항목)은 물론 총 규모를 개선할 수 있습니다.
- 반대로 - FIB/IP 경로에 대한 소규모 SDM 템플릿은 FIB에서 사용할 수 있는 총 하드웨어 테이블 수를 줄입니다.
- 경로 테이블에서 하나 이상의 접두사(마스크) 길이를 완전히 제거합니다
- 경로 요약(접두사의 총 볼륨 감소)
참고: SDM 템플릿에 대한 자세한 내용은 Catalyst 9500 및 Catalyst 9600 Series 스위치의 "시스템 관리 컨피그레이션 가이드"에서 "장: SDM 템플릿 구성"을 참조하십시오.
시나리오: SGT/SXP 매핑 | Trustsec 규모
TAC를 위해 수집할 명령
IPv4 사용률과 관련된 가장 일반적인 하드웨어 리소스 문제는 이 가이드에서 적절한 치료 단계를 통해 다룹니다. 그러나 이 설명서에서 문제를 해결하지 못한 경우 표시된 명령 목록을 수집하여 TAC 서비스 요청에 첨부하십시오.
show tech-support
show platform hardware fed active fwd-asic resource tcam utilization
show platform hardware fed active fwd-asic resource utilization
show platform hardware fed active fwd-asic resource rewrite utilization
show platform hardware fed active fwd-asic resource features ip-adjacency utilization
show platform software fed active ip route summary
show platform software fed active hash l3unicast
show ip route
show ip route vrf *
이 문서에 문제가 있는 경우 이 문서의 오른쪽 패널에 있는 [피드백] 단추를 사용하십시오. 이 문서에 대한 요청 또는 피드백을 제출할 때 가능한 한 자세한 정보를 제공하십시오. 이 문서에는 문서와 관련된 섹션, 영역 또는 문제 및 개선할 수 있는 사항에 대한 정보가 포함되어 있습니다.
관련 정보
Catalyst 9000 스위치의 하드웨어 리소스 이해
IP 라우팅 컨피그레이션 가이드, Cisco IOS XE Amsterdam 17.3.x(Catalyst 9500 스위치) - 장: OSPF 구성
IP 라우팅 컨피그레이션 가이드, Cisco IOS XE Amsterdam 17.3.x(Catalyst 9500 스위치) - 장: EIGRP 구성
IP 라우팅 컨피그레이션 가이드, Cisco IOS XE Amsterdam 17.3.x(Catalyst 9500 스위치) - 장: BGP 구성
시스템 관리 컨피그레이션 가이드, Cisco IOS XE Amsterdam 17.3.x(Catalyst 9500 스위치) - 장: SDM 템플릿 구성
Cisco Catalyst 9200 Series 스위치 데이터 시트
Cisco Catalyst 9300 Series 스위치 데이터 시트
Cisco Catalyst 9400 Series 스위치 데이터 시트
Cisco Catalyst 9500 Series 스위치 데이터 시트
개정 이력
| 개정 | 게시 날짜 | 의견 |
|---|---|---|
2.0 |
01-Jun-2023 |
비디오에 링크 추가: Catalyst 9000 스위치 FIB 하드웨어 리소스 소모 문제 해결 |
1.0 |
05-Aug-2022 |
최초 릴리스 |
피드백