본 제품에 대한 문서 세트는 편견 없는 언어를 사용하기 위해 노력합니다. 본 설명서 세트의 목적상, 편견 없는 언어는 나이, 장애, 성별, 인종 정체성, 민족 정체성, 성적 지향성, 사회 경제적 지위 및 교차성에 기초한 차별을 의미하지 않는 언어로 정의됩니다. 제품 소프트웨어의 사용자 인터페이스에서 하드코딩된 언어, RFP 설명서에 기초한 언어 또는 참조된 서드파티 제품에서 사용하는 언어로 인해 설명서에 예외가 있을 수 있습니다. 시스코에서 어떤 방식으로 포용적인 언어를 사용하고 있는지 자세히 알아보세요.
Cisco는 전 세계 사용자에게 다양한 언어로 지원 콘텐츠를 제공하기 위해 기계 번역 기술과 수작업 번역을 병행하여 이 문서를 번역했습니다. 아무리 품질이 높은 기계 번역이라도 전문 번역가의 번역 결과물만큼 정확하지는 않습니다. Cisco Systems, Inc.는 이 같은 번역에 대해 어떠한 책임도 지지 않으며 항상 원본 영문 문서(링크 제공됨)를 참조할 것을 권장합니다.
이 문서 d서술 nexus 9000 스위치에서 레이어 1 링크 플랩 문제를 해결하는 방법.
이 문서에 설명된 정보를 계속 진행하기 전에 Cisco Nexus 운영 체제(NX-OS) 및 기본 Nexus 아키텍처에 대해 잘 아는 것이 좋습니다.
이 문서의 정보는 다음 소프트웨어 및 하드웨어 버전을 기반으로 합니다.
이 문서의 정보는 특정 랩 환경의 디바이스를 토대로 작성되었습니다. 이 문서에 사용된 모든 디바이스는 초기화된(기본) 컨피그레이션으로 시작되었습니다. 현재 네트워크가 작동 중인 경우 모든 명령의 잠재적인 영향을 미리 숙지하시기 바랍니다.
링크 플랩은 Nexus 9000과 같은 스위치의 물리적 인터페이스가 작동 및 작동 중지 사이에서 계속 번갈아 발생하는 네트워킹 문제입니다. 이러한 중단 동작은 네트워크 성능을 저하시키고, 네트워크를 불안정하게 하며, 통신을 중단하여 상당한 불편을 초래할 수 있습니다. 링크 플랩은 일반적으로 물리적 레이어의 결함이나 프로토콜 동기화 문제로 인해 발생합니다.
프로토콜 동기화에 문제가 있을 때 프로토콜 트리거된 링크 플랩이 발생합니다. 여기에는 LACP(Link Aggregation Control Protocol), 가상 포트 채널 등의 프로토콜이 포함될 수 있습니다. 프로토콜 컨피그레이션 오류 또는 패킷 손실로 인해 링크가 불안정해질 수 있습니다. 정기적인 모니터링과 시기적절한 소프트웨어 업데이트를 통해 이러한 유형의 링크 플랩을 방지할 수 있습니다.
링크 플랩은 또한 네트워크의 물리적 레이어인 레이어 1에서 비롯될 수 있습니다. 여기에는 케이블이나 인터페이스와 같은 물리적 구성 요소가 포함되는 경우가 많습니다. 케이블이 손상되었거나 느슨하거나 노후화되었거나 인터페이스가 제대로 작동하지 않을 경우 링크가 플랩될 수 있습니다. 케이블 확인 및 인터페이스 테스트를 포함한 정기적인 물리적 검사 및 유지 보수를 통해 링크 플랩으로 이어지기 전에 이러한 문제를 파악하고 해결할 수 있습니다.
이 문서에서는 레이어 1 물리적 문제 트러블슈팅에 대해 중점적으로 설명합니다.
링크 플랩은 로그에서 쉽게 식별할 수 있습니다. 이 예에서는 포트 E1/5의 링크 플랩 이벤트를 표시합니다. 여기서 포트는 다운되었다가 나중에 다시 작동합니다.
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-FOP_CHANGED: port-channel100: first operational port changed from Ethernet1/5 to none
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-PORT_DOWN: port-channel100: Ethernet1/5 is down
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_BANDWIDTH_CHANGE: Interface port-channel100,bandwidth changed to 100000 Kbit
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_LINK_FAILURE: Interface Ethernet1/5 is down (Link failure)
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-SPEED: Interface Ethernet1/5, operational speed changed to 10 Gbps
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-IF_DUPLEX: Interface Ethernet1/5, operational duplex mode changed to Full
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-IF_RX_FLOW_CONTROL: Interface Ethernet1/5, operational Receive Flow Control state changed to off
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-IF_TX_FLOW_CONTROL: Interface Ethernet1/5, operational Transmit Flow Control state changed to off
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-SPEED: Interface port-channel100, operational speed changed to 10 Gbps
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-IF_DUPLEX: Interface port-channel100, operational duplex mode changed to Full
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-IF_RX_FLOW_CONTROL: Interface port-channel100, operational Receive Flow Control state changed to off
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-IF_TX_FLOW_CONTROL: Interface port-channel100, operational Transmit Flow Control state changed to off
2024 Jan 21 05:28:02 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-PORT_UP: port-channel100: Ethernet1/5 is up
2024 Jan 21 05:28:02 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-FOP_CHANGED: port-channel100: first operational port changed from none to Ethernet1/5
2024 Jan 21 05:28:02 N9K-C93180YC-FX %ETHPORT-5-IF_BANDWIDTH_CHANGE: Interface port-channel100,bandwidth changed to 10000000 Kbit
2024 Jan 21 05:28:02 N9K-C93180YC-FX %ETHPORT-5-IF_UP: Interface Ethernet1/5 is up in mode access
2024 Jan 21 05:28:02 N9K-C93180YC-FX %ETHPORT-5-IF_UP: Interface port-channel100 is up in mode access
Ethpm(Ethernet Port Manager)은 이더넷 인터페이스를 관리하는 프로세스입니다. Ethpm 이벤트 기록은 링크 플랩의 원인을 식별하는 데 활용될 수 있다.
E1/5는 05:28:35에 링크 장애를 경험하며, ETH_PORT_FSM_EV_LINK_DOWN에 의해 에트엠 전환이 트리거됩니다. 이는 레이어 1 플랩을 나타냅니다.
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_BANDWIDTH_CHANGE: Interface port-channel100,bandwidth changed to 100000 Kbit
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_LINK_FAILURE: Interface Ethernet1/5 is down (Link failure)
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
N9K-C93180YC-FX# show system internal ethpm event-history interface e1/5
[143] 2024-01-21T05:26:02.100255000+00:00 [-] FSM:<Ethernet1/5> Transition:
Previous state: [ETH_PORT_FSM_ST_WAIT_BUNDLE_MEMBER_BRINGUP]
Triggered event: [ETH_PORT_FSM_EV_FIRST_BRINGUP_BUNDLE_MEMBER_DONE]
Next state: [ETH_PORT_FSM_ST_BUNDLE_MEMBER_UP]
[144] 2024-01-21T05:27:35.783495000+00:00 [-] FSM:<Ethernet1/5> Transition:
Previous state: [ETH_PORT_FSM_ST_BUNDLE_MEMBER_UP]
Triggered event: [ETH_PORT_FSM_EV_LINK_DOWN]
Next state: [FSM_ST_NO_CHANGE]
E1/8은 07:40:07에 초기화 중단 상태로 진입하며, 이때 ETH_PORT_FSM_EV_EXTERNAL_REINIT_NO_FLAP_REQ에 의해 이더넷 전환이 트리거됩니다. 이는 LACP(Link Aggregation Control Protocol)에 의해 트리거된 링크 플랩을 나타냅니다.
2024 Jan 21 07:37:20 N9K-C93180YC-FX %ETHPORT-5-IF_UP: Interface port-channel200 is up in Layer3
2024 Jan 21 07:40:07 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel200 is down (No operational members)
2024 Jan 21 07:40:07 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-FOP_CHANGED: port-channel200: first operational port changed from Ethernet1/8 to none
2024 Jan 21 07:40:07 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-PORT_DOWN: port-channel200: Ethernet1/8 is down
2024 Jan 21 07:40:07 N9K-C93180YC-FX %ETHPORT-5-IF_BANDWIDTH_CHANGE: Interface port-channel200,bandwidth changed to 100000 Kbit
2024 Jan 21 07:40:07 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_INITIALIZING: Interface Ethernet1/8 is down (Initializing)
N9K-C93180YC-FX# show system internal ethpm event-history interface e1/8
[218] 2024-01-21T07:37:20.551880000+00:00 [-] FSM:<Ethernet1/8> Transition:
Previous state: [ETH_PORT_FSM_ST_WAIT_BUNDLE_MEMBER_BRINGUP]
Triggered event: [ETH_PORT_FSM_EV_FIRST_BRINGUP_BUNDLE_MEMBER_DONE]
Next state: [ETH_PORT_FSM_ST_BUNDLE_MEMBER_UP]
[219] 2024-01-21T07:40:07.104339000+00:00 [-] FSM:<Ethernet1/8> Transition:
Previous state: [ETH_PORT_FSM_ST_BUNDLE_MEMBER_UP]
Triggered event: [ETH_PORT_FSM_EV_EXTERNAL_REINIT_NO_FLAP_REQ]
Next state: [FSM_ST_NO_CHANGE]
Cisco는 다양한 속도, 미디어 및 거리를 수용할 수 있는 광모듈 어레이를 제공합니다. Nexus 9000에 링크를 연결하기 전에 SFP 및 케이블이 현재 사용 중인 소프트웨어 및 하드웨어와 호환되는지 확인하십시오. 다음을 통해 이를 확인할 수 있습니다.
Cisco Optics-to-Device 호환성 매트릭스
Cisco Optics-to-Optics 상호 운용성 매트릭스
NX-OS 10.2.1부터 모든 Cloudscale ToR 및 EoR 플랫폼에서 PIE(Platform Insights Engine)가 지원됩니다. PIE는 온 스위치 실시간 근본 원인 분석 애플리케이션입니다.
3개의 PIE를 통해 레이어 1 링크 플랩 문제를 해결할 수 있습니다.
링크 플랩 PIE는 사용자 공간 드라이버(USD)가 게시한 링크 플랩 이벤트를 분석하고 링크 플랩의 근본 원인을 파악합니다. PIE는 근본 원인 분석 통찰력을 브로커에 게시합니다. 링크 플랩 이벤트는 링크가 플랩할 때 USD(PIE client)에 의해 게시됩니다. USD는 근본 원인 분석에 필요한 ASIC 및 USD의 관련 데이터를 모두 수집하여 브로커에 게시합니다. 링크 플랩 PIE는 데이터를 분석하여 플랩의 가장 가능성 있는 근본 원인을 찾아냅니다.
PIE 링크가 작동하지 않는 링크의 근본 원인을 찾습니다. USD는 인터페이스가 up으로 구성되었지만 인터페이스 작동 상태가 up이 아닌 경우 인터페이스에 대한 데이터를 수집합니다. 이 데이터는 PIE 응용 프로그램에 게시됩니다. 링크 다운 PIE는 이러한 이벤트를 구독하고, 브로커로부터 데이터를 수신하고, 데이터를 분석하여 근본 원인을 찾습니다.
옵틱 PIE는 일정 간격으로 수집된 DOM 데이터의 시계열 분석을 수행하는 연속 모니터링 엔진입니다. 일정 기간 동안 DOM의 다양한 매개변수를 추적함으로써 PIE는 메트릭에 도달하여 각 광 포트의 옵틱 상태를 설명합니다. 메트릭은 광 트랜시버의 트렌드 상태에 대한 통찰력입니다.
자세한 내용은 다음 PIE 문서를 참조하십시오.
Cisco Nexus 9000 Series NX-OS Platform Insights Engine 가이드, 릴리스 10.2(x)
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-FOP_CHANGED: port-channel100: first operational port changed from Ethernet1/5 to none
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-PORT_DOWN: port-channel100: Ethernet1/5 is down
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_BANDWIDTH_CHANGE: Interface port-channel100,bandwidth changed to 100000 Kbit
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_LINK_FAILURE: Interface Ethernet1/5 is down (Link failure)
2024 Jan 21 05:27:35 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
2024 Jan 21 05:27:58 N9K-C93180YC-FX %ETHPORT-5-SPEED: Interface Ethernet1/5, operational speed changed to 10 Gbps
<snip>
2024 Jan 21 05:28:02 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-PORT_UP: port-channel100: Ethernet1/5 is up
N9K-C93180YC-FX# show pie interface ethernet 1/5 link-flap-rca
2024-01-21 05:27:35 Event Id: 00000068 Ethernet1/5 Source Id: 436209664 RCA Code: 41 >>>PIE event time
Reason: Link flapped/down due to Local Fault, check peer >>>PIE link flap reason
N9K-C93180YC-FX# show pie interface ethernet 1/5 transceiver-insights
2024-01-21 05:30:12 Event Id: 00000080 Event Class: xcvr DOM DB Event Interface: Ethernet1/5 Health Metric: --------GOOD------- Mod: 01
2024-01-21 05:28:12 Event Id: 00000072 Event Class: xcvr DOM DB Event Interface: Ethernet1/5 Health Metric: --------GOOD------- Mod: 01
2024 Jan 21 05:48:38 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-FOP_CHANGED: port-channel100: first operational port changed from Ethernet1/5 to none
2024 Jan 21 05:48:38 N9K-C93180YC-FX %ETH_PORT_CHANNEL-5-PORT_DOWN: port-channel100: Ethernet1/5 is down
2024 Jan 21 05:48:38 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
2024 Jan 21 05:48:38 N9K-C93180YC-FX %ETHPORT-5-IF_BANDWIDTH_CHANGE: Interface port-channel100,bandwidth changed to 100000 Kbit
2024 Jan 21 05:48:38 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_LINK_FAILURE: Interface Ethernet1/5 is down (Link failure)
2024 Jan 21 05:48:38 N9K-C93180YC-FX %ETHPORT-5-IF_DOWN_PORT_CHANNEL_MEMBERS_DOWN: Interface port-channel100 is down (No operational members)
N9K-C93180YC-FX# show pie interface ethernet 1/5 link-down-rca
2024-01-21 05:48:48 Event Id: 00000197 Ethernet1/5 Source Id: 436209664 RCA Code: 16 >>>PIE event time
Reason: No PCS alignment detected. Please check Fec, speed, Autoneg configurations with peer >>>Physical layer failed
N9K-C93180YC-FX# show pie interface ethernet 1/5 transceiver-insights
2024-01-21 05:50:12 Event Id: 00000199 Event Class: xcvr DOM DB Event Interface: Ethernet1/5 Health Metric: ********BAD******** Mod: 01
2024-01-21 05:48:12 Event Id: 00000187 Event Class: xcvr DOM DB Event Interface: Ethernet1/5 Health Metric: --------GOOD------- Mod: 01
PIE 출력을 기준으로, 결함이 있을 수 있는 구성 요소를 교체하고 모니터링을 계속하는 것이 좋습니다. 링크 플랩이 지속되면 결함 부분을 좁히는 스왑 테스트가 필요합니다. 스왑 테스트는 한 번에 한 구성 요소를 변경하고 다른 구성 요소는 변경하지 않는 방식으로 수행할 수 있습니다. 궁극적으로 특정 결함이 있는 구성 요소가 교체된 후 링크가 안정됩니다.
10.2(1) 이전의 NX-OS 소프트웨어 릴리스의 경우 PIE 지원을 사용할 수 없습니다. 레이어 1 링크 플랩을 확인하려면 몇 가지 수동 단계가 필요합니다.
여기에는 연결된 모듈의 모든 링크 이벤트가 나열됩니다. Debounce time은 인터페이스가 수퍼바이저에게 링크 다운을 알리기 전에 대기하는 기간을 나타냅니다. 이 기간 동안 인터페이스는 링크가 다시 작동할지 여부를 기다립니다. 링크가 다운되었는지 또는 단순한 플랩을 겪고 있는지 확인하는 데 사용됩니다.
N9K-C93180YC-FX# attach module 1
module-1# show system internal port-client link-event
*************** Port Client Link Events Log ***************
---- ------ ----- ----- ------
Time PortNo Speed Event Stsinfo
---- ------ ----- ----- ------
Jan 21 05:48:38 2024 00122142 Ethernet1/5 ---- DOWN Link down debounce timer stopped and link is down
Jan 21 05:48:37 2024 00993003 Ethernet1/5 ---- DOWN Link down debounce timer started(0x40e50006)
Jan 21 05:45:14 2024 00432606 Ethernet1/5 10G UP SUCCESS(0x0)
이러한 이벤트는 각 링크 이벤트에 대한 자세한 정보를 제공합니다.
N9K-C93180YC-FX# attach module 1
module-1# show hardware internal tah link-events fp-port 5
324) Jan 21 05:48:37 2024 uSec 992843: Fp 5 : tahusd_isr.c #8469
Port Down with an ASIC interrupt
------------- ASIC MAC/PCS/Serdes REGS (Mac Channel 0) -------------
Link flapped due to Local Fault, check peer >>>Local Fault means the local device detected the issue on the receive path.
>>>Remote Fault means a Local Fault is detected across the link.
Intr Regs 00:0x0000, 01:0x0000, 02:0x0000, 03:0x0010, 07:0x0000, 11:0x0000, 15:0x0000
sts2.bercount : 0x0f00 sts2.erroredblocks : 0x0000
bercounthi : 0x0000 erroredblockhi : 0x0000
counters0.syncloss : 0x0001 counters0.blocklockloss: 0x0001
counters1.highber : 0x0000 counters1.vlderr : 0x0000
counters2.unkerr : 0x0012 counters2.invlderr : 0x0000
오류 코드 |
설명 |
|
sts2.erroredblocks |
오류가 발생한 블록(상위 비트)을 계산합니다. |
|
sts2.bercount |
잘못된 동기화 헤더(하위 비트)를 계산합니다. |
|
베룬티 |
잘못된 동기화 헤더(상위 비트)를 계산합니다. |
|
에로레드블락히 |
오류가 발생한 블록(상위 비트)을 계산합니다. |
|
counters0.syncloss |
동기화 손실 |
|
counters0.blocklockloss |
블록 잠금 손실 |
|
counters1.highber |
높은 BER |
|
카운터1.vlderr |
유효한 오류 |
|
카운터2.unkerr |
알 수 없는 오류 |
|
counters2.inblder |
잘못된 오류 |
이 출력에는 여러 SFP(Small Form-factor Pluggable) 정보가 있습니다. 값이 SFP 진단에서 허용되는 범위를 벗어나는 경우 SFP는 손상될 가능성이 있는 구성 요소로 간주되어 교체해야 합니다. 이 예에서는 모든 것이 제대로 되어 있습니다.
N9K-C93180YC-FX# show interface e1/5 transceiver details
Ethernet1/5
transceiver is present
type is 10Gbase-SR >>>SFP type
name is CISCO-OPLINK >>>SFP vendor
part number is TPP4XGDS0CCISE2G
revision is 02
serial number is OPMXXXXXXXX >>>SFP SN
nominal bitrate is 10300 MBit/sec >>>SFP bitrate
Link length supported for 50/125um OM2 fiber is 82 m
Link length supported for 62.5/125um fiber is 26 m
Link length supported for 50/125um OM3 fiber is 300 m
cisco id is 3
cisco extended id number is 4
cisco part number is 10-2415-03
cisco product id is SFP-10G-SR >>>SFP PID
cisco version id is V03
SFP Detail Diagnostics Information (internal calibration)
----------------------------------------------------------------------------
Current Alarms Warnings
Measurement High Low High Low
----------------------------------------------------------------------------
Temperature 36.52 C 75.00 C -5.00 C 70.00 C 0.00 C
Voltage 3.28 V 3.63 V 2.97 V 3.46 V 3.13 V
Current 6.61 mA 12.00 mA 0.50 mA 11.50 mA 1.00 mA
Tx Power -2.70 dBm 1.99 dBm -11.30 dBm -1.00 dBm -7.30 dBm
Rx Power -2.40 dBm 1.99 dBm -13.97 dBm -1.00 dBm -9.91 dBm
Transmit Fault Count = 0
----------------------------------------------------------------------------
Note: ++ high-alarm; + high-warning; -- low-alarm; - low-warning
peer side information is snipped.
이전 검사에서 모든 것이 정상으로 나타나면 결함 부분을 좁히는 스왑 테스트가 필요합니다. 스왑 테스트는 한 번에 한 구성 요소를 변경하고 다른 구성 요소는 변경하지 않는 방식으로 수행할 수 있습니다. 결국, 특정 결함이 있는 부품이 교체된 후 링크가 안정화됩니다.
개정 | 게시 날짜 | 의견 |
---|---|---|
1.0 |
31-Jan-2024 |
최초 릴리스 |