Inhalt

Einführung

Bevor Sie beginnen

Konventionen

Voraussetzungen

Verwendete Komponenten

Netzwerkdiagramm

Erkennen von Fehlern

OAM-Loopback-Zellen

Warnsignal/Fernanzeige für Defekt (AIS/RDI)

Befehle debuggen und anzeigen

Zugehörige Informationen

Einführung

Tritt ein Kommunikationsproblem auf einer PVC auf (kein Datenverkehr, der in die eine oder andere Richtung fließt), bleibt die permanente virtuelle Schaltung (PVC) auf den Endgeräten aktiv. Aus diesem Grund verbleiben Routingeinträge, die auf diesen PVC verweisen, für eine gewisse Zeit in der Routingtabelle, und dadurch gehen Pakete verloren. Die Lösung für dieses Problem besteht darin, den Betrieb und die Wartung (OAM) zu verwenden, um solche Fehler zu erkennen und die Verbindung der PVC bei einer Unterbrechung ihres Datenwegs zu trennen.

Sie können eine Beispielkonfiguration zur Verwendung von OAM für die PVC-Verwaltung anzeigen, indem Sie hier klicken.

Bevor Sie beginnen

Konventionen

Weitere Informationen zu Dokumentkonventionen finden Sie in den Cisco Technical Tips Conventions.

Voraussetzungen

Für dieses Dokument bestehen keine besonderen Voraussetzungen.

Verwendete Komponenten

OAM und PVC-Management werden seit Cisco IOS® Version 11.1(22)CC und ab Cisco IOS Version 12.0 unterstützt.

Die in diesem Dokument enthaltenen Informationen wurden aus Geräten in einer bestimmten Laborumgebung erstellt. Alle in diesem Dokument verwendeten Geräte haben mit einer leeren (Standard-)Konfiguration begonnen. Wenn Sie in einem Live-Netzwerk arbeiten, stellen Sie sicher, dass Sie die potenziellen Auswirkungen eines Befehls verstehen, bevor Sie es verwenden.

Netzwerkdiagramm

Dieses Dokument basiert auf der folgenden Konfiguration:

- 1/116 ist das dem virtuellen Circuit (VC) zugewiesene VPI/VCI auf dem gesamten Pfad.

- Auf den ATM-Switches wird Cisco IOS 12.0 ausgeführt. Die ATM-Switches wurden so konfiguriert, dass sie bei einem Verbindungsausfall das Alarmsignal/die Remote Defect Indicator (AIS/RDI) senden. Dies wird in diesem Dokument erläutert.

- Sie können Fehler hervorrufen, indem Sie die (Sub-)Schnittstelle auf Guilder ausschalten und beobachten, was auf Bernard passiert. In den Konfigurationen für alle in diesem Dokument enthaltenen Debugging-Zeitstempel aktivierten die Debugdatezeit msec für den Dienst. So können wir die Zeit jedes Ereignisses in msec sehen.

Erkennen von Fehlern

Für dieses Dokument werden nur F5-OAM-Zellen (VC-Ebene) berücksichtigt, da dies die einzigen Zellen sind, die von Cisco Endgeräten (Routern) zum Erkennen von Ausfällen verwendet werden. Um einen Ausfall entlang des PVC-Pfads auf einem Endgerät zu erkennen, verwendet OAM die folgenden Zellen:

- Loopback-Zellen

- Continuity Check (CC)-Zellen

- AIS-Zellen (Alarm Indication Signal)

- Remote Detection Indication (RDI)-Zellen

Es gibt drei Bedingungen für die Deklaration eines PVC UP:

- Der Router empfängt eine konfigurierte Anzahl aufeinander folgender End-to-End-F5-OAM-Loopback-Zellenantworten.

- Der Router empfängt 3 Sekunden lang keine F5-AIS-Zellen.

- Der Router empfängt 3 Sekunden lang keine F5-RDI-Zellen.

Im nächsten Abschnitt werden diese Zellen und Ausgaben beschrieben, die ihre Auswirkungen zeigen.

OAM-Loopback-Zellen

In regelmäßigen Abständen senden Endgeräte (z. B. Router), die für OAM konfiguriert sind, Loopback-Zellen, die im Netzwerk Schleifen bilden müssen. Dieser Schleifenpunkt kann die Maschine am Ende der PVC (End-to-End Loopback Zellen) oder eine Ausrüstung am Pfad (Segment Loopback Zellen) sein.

Bezeichner in der Loopback-Zelle geben an, welches Gerät bzw. welche Geräte die Zelle schleifen sollen. Ein Cisco Gerät, das eine VC terminiert, wenn es eine solche Zelle auf einer PVC empfängt, schleift sie selbst dann, wenn sie nicht für OAM konfiguriert ist. Außerdem enthält jede dieser Zellen eine Richtungsanzeige (um zu ermitteln, ob es sich um einen Befehl oder eine Antwortzelle handelt) und eine Sequenznummer (Correlation-Tag oder CTag im Debugger genannt). Die "Command"-Loopback-Zelle und die "Response"-Loopback-Zelle haben dieselbe Sequenznummer.

Das folgende Diagramm zeigt Loopback-Zellen (LB):

Beispielausgabe für Debugging

Im Folgenden werden die Debuggen (debug atm oam) veranschaulicht, die die Loopback-Zellen auf Bernard veranschaulichen:

Mar 30 14:22:39.050: ATM OAM(ATM2/0/0.116): Timer: VCD#4 VC 1/116 Status:2 CTag:17128

Tries:0

Mar 30 14:22:39.050: ATM OAM LOOP(ATM2/0/0.116) O: VCD#4 VC 1/116 CTag:42E9

Mar 30 14:22:39.050: ATM OAM LOOP(ATM2/0/0) I: VCD#4 VC 1/116 LoopInd:0CTag:42E9

Mar 30 14:22:48.958: ATM OAM(ATM2/0/0.116): Timer: VCD#4 VC 1/116 Status:2 CTag:17129

Tries:0

Mar 30 14:22:48.958: ATM OAM LOOP(ATM2/0/0.116) O: VCD#4 VC 1/116 CTag:42EA

Mar 30 14:22:48.958: ATM OAM LOOP(ATM2/0/0) I: VCD#4 VC 1/116 LoopInd:0CTag:42EA

Kommentare zur Beispieldebugausgabe

- Die erste Zeile gibt an, dass der Timer, der verwendet wird, um zu bestimmen, wann eine Loopback-Zelle auf einer (Sub-)Schnittstelle ausgestrahlt werden soll, abgelaufen ist.

- Eine Befehlsloopback-Zelle wird dann auf der entsprechenden Schnittstelle (zweite Zeile des Debuggers) gesendet. Der auf dieser Zeile angezeigte CTag-Wert ist der Hexadezimalwert der ersten Zeile CTag plus eins.

- Eine Loopback-Zelle wird dann mit einem LoopInd gleich Null empfangen.

Hinweis: LoopInd=1 gibt eine Befehlszelle an, und LoopInd=0 gibt eine Antwortzelle (Looped) an. LoopInd=1 wird nicht im Debuggen angezeigt, sondern in einer Sniffer-Ablaufverfolgung.

Beispielausgabe für Debugging (wenn Loopback-Zellen verloren gehen)

Ein Gerät (das PVCs verwendet) sollte so konfiguriert sein, dass es OAM-Zellen sendet und PVC-Management verwendet. Wenn dieses Gerät eine bestimmte Anzahl von Loopback-Zellen verliert, versetzt es die PVC in den Down-Status. Weitere Informationen finden Sie unter:

Mar 30 14:48:31.704: ATM OAM(ATM2/0/0.116): Timer: VCD#4 VC 1/116

Status:2 CTag:17284

Tries:0

Mar 30 14:48:31.704: ATM OAM LOOP(ATM2/0/0.116) O: VCD#4 VC 1/116 CTag:4385

At this point, the sub-interface corresponding to PVC 1/116 on Guilder is shut down

Mar 30 14:48:41.684: ATM OAM(ATM2/0/0.116): Timer: VCD#4 VC 1/116 Status:1 CTag:17285

Tries:0

Mar 30 14:48:41.684: atm_oam_setstate - VCD#4, VC 1/116: newstate = Down Retry <-no reply to the loopback cell just sent

Mar 30 14:48:41.684: ATM OAM LOOP(ATM2/0/0.116) O: VCD#4 VC 1/116 CTag:4386

Mar 30 14:48:42.680: ATM OAM(ATM2/0/0.116): Timer: VCD#4 VC 1/116 Status:1 CTag:17286

Tries:1

Mar 30 14:48:42.680: ATM OAM LOOP(ATM2/0/0.116) O: VCD#4 VC 1/116 CTag:4387

Mar 30 14:48:43.680: ATM OAM(ATM2/0/0.116): Timer: VCD#4 VC 1/116 Status:1 CTag:17287

Tries:2

Mar 30 14:48:43.680: ATM OAM LOOP(ATM2/0/0.116) O: VCD#4 VC 1/116 CTag:4388

Mar 30 14:48:44.680: ATM OAM(ATM2/0/0.116): Timer: VCD#4 VC 1/116 Status:1 CTag:17288

Tries:3

Mar 30 14:48:44.680: ATM OAM LOOP(ATM2/0/0.116) O: VCD#4 VC 1/116 CTag:4389

Mar 30 14:48:45.676: ATM OAM(ATM2/0/0.116): Timer: VCD#4 VC 1/116 Status:1 CTag:17289

Tries:4

Mar 30 14:48:45.676: ATM OAM LOOP(ATM2/0/0.116) O: VCD#4 VC 1/116 CTag:438A

Mar 30 14:48:46.676: ATM OAM(ATM2/0/0.116): Timer: VCD#4 VC 1/116 Status:1 CTag:17290

Tries:5 <- the router makes 5 retries before declaring the PVC down

Mar 30 14:48:46.676: atm_oam_setstate - VCD#4, VC 1/116: newstate = Not Verified

<-5 retries and no answers -> PVC declared down

Mar 30 14:48:46.676: %LINEPROTO-5-UPDOWN: Line protocol on Interface ATM2/0/0.116,changed state to down

Mar 30 14:48:46.676: ATM OAM LOOP(ATM2/0/0.116) O: VCD#4 VC 1/116 CTag:438B

Sie können die Anzahl verlorener Zellen konfigurieren, die zum Absetzen der PVC erforderlich ist. Der folgende Befehl show atm pvc vpi/vci erläutert die vorherigen Debugging-Anweisungen.

Bernard# sh atm pvc 1/116

ATM2/0/0.116: VCD: 4, VPI: 1, VCI: 116

UBR, PeakRate: 155000

AAL5-LLC/SNAP, etype:0x0, Flags: 0xC20, VCmode: 0x0

OAM frequency: 10 second(s), OAM retry frequency: 1 second(s)

OAM up retry count: 3, OAM down retry count: 5

OAM Loopback status: OAM Sent

OAM VC state: Not Verified

ILMI VC state: Not Managed

VC is managed by OAM.

InARP frequency: 15 minutes(s)

InPkts: 4, OutPkts: 4, InBytes: 280, OutBytes: 300

InPRoc: 2, OutPRoc: 0, Broadcasts: 5

InFast: 0, OutFast: 0, InAS: 2, OutAS: 0

InPktDrops: 0, OutPktDrops: 364240961

CrcErrors: 0, SarTimeOuts: 0, OverSizedSDUs: 0

Out CLP=1 Pkts: 0

OAM cells received: 9

F5 InEndloop: 9, F5

InSegloop: 0, F5 InAIS: 0, F5 InRDI: 0

F4 InEndloop: 0, F4 InSegloop: 0, F4 InAIS: 0, F4 InRDI: 0

OAM cells sent: 18

F5 OutEndloop: 18, F5 OutSegloop: 0, F5 OutRDI: 0

F4 OutEndloop: 0, F4 OutSegloop: 0, F4 OutRDI: 0

OAM cell drops: 0

Status: DOWN, State: NOT_VERIFIED

Wie Sie sehen können, wurden F5-Loopbacks gesendet, jedoch nicht beantwortet (18 F5 OutEndloop, aber nur 9 F5 InEndloop; Daher gingen 9 F5 Loopback-Loopback-Zellen verloren.) Dies führte zum Ausfall des PVC (bei der Konfiguration der PVC-Verwaltung). F5 OutEndloop stellt die Anzahl der gesendeten Loopback-Zellen dar, und F5 InEndloop stellt die Anzahl der empfangenen F5-Loopback-Zellen dar.

Wie Sie auch sehen können, sind die F4-OAM-Zellzähler vorhanden, aber es wird nichts aufgezeichnet, da hier nur F5-Zellen berücksichtigt werden. In der obigen Ausgabe des Befehls show können weitere interessante Informationen zu Loopback-Zellen gesammelt werden:

- OAM-Zellen werden alle 10 Sekunden gesendet, unabhängig davon, ob die PVC aktiviert oder deaktiviert ist.

- Wenn die PVC aktiviert ist, das andere Ende jedoch nicht reagiert, versucht der Router, die OAM-Zellen in Sekundenbruchteilen zu senden, bis er eine Antwort erhält oder bis 5 OAM-Zellen nicht beantwortet wurden. Dann wird der PVC deaktiviert (siehe Debuggen oben).

- Wenn die PVC abgeschaltet ist und plötzlich eine gültige Schleifenzelle empfängt, versucht sie, LB-Zellen jede Sekunde erneut zu senden, bis drei gültige Loopback-Zellen in einer Reihe empfangen werden. Dann wird die PVC wieder hochgehen. Weitere Informationen finden Sie unter Debuggen.

Mar 31 12:40:10.154: %LINEPROTO-5-UPDOWN: Line protocol on Interface ATM2/0/0.116, changed state to down

Mar 31 12:40:20.074: ATM OAM(ATM2/0/0.116): Timer: VCD#4 VC 1/116 Status:1 CTag:25267

Tries:6

Mar 31 12:40:20.074: ATM OAM LOOP(ATM2/0/0.116) O: VCD#4 VC 1/116 CTag:62B4

Mar 31 12:40:20.074: ATM OAM LOOP(ATM2/0/0) I: VCD#4 VC 1/116 LoopInd:0 CTag:62B4

Mar 31 12:40:20.074: atm_oam_setstate - VCD#4, VC 1/116: newstate = Up Retry

! PVC was down and suddenly receives a valid response loopback cell

Mar 31 12:40:21.070: ATM OAM(ATM2/0/0.116): Timer: VCD#4 VC 1/116 Status:2 CTag:25268

Tries:0

Mar 31 12:40:21.070: ATM OAM LOOP(ATM2/0/0.116) O: VCD#4 VC 1/116 CTag:62B5

Mar 31 12:40:21.070: ATM OAM LOOP(ATM2/0/0) I: VCD#4 VC 1/116 LoopInd:0 CTag:62B5

! first looped LB cell

Mar 31 12:40:22.066: ATM OAM(ATM2/0/0.116): Timer: VCD#4 VC 1/116 Status:2 CTag:25269

Tries:0

Mar 31 12:40:22.066: ATM OAM LOOP(ATM2/0/0.116) O: VCD#4 VC 1/116 CTag:62B6

Mar 31 12:40:22.066: ATM OAM LOOP(ATM2/0/0) I: VCD#4 VC 1/116 LoopInd:0 CTag:62B6

! second looped LB cell in a row

Mar 31 12:40:23.062: ATM OAM(ATM2/0/0.116): Timer: VCD#4 VC 1/116 Status:2 CTag:25270

Tries:0

Mar 31 12:40:23.062: ATM OAM LOOP(ATM2/0/0.116) O: VCD#4 VC 1/116 CTag:62B7

Mar 31 12:40:23.062: ATM OAM LOOP(ATM2/0/0) I: VCD#4 VC 1/116 LoopInd:0 CTag:62B7

! third looped LB cell in a row

Mar 31 12:40:23.062: atm_oam_setstate - VCD#4, VC 1/116: newstate = Verified

! PVC is declared up again

Mar 31 12:40:23.062: %LINEPROTO-5-UPDOWN: Line protocol on Interface ATM2/0 0.116, changed state to up

Wie Sie sehen können, wurde die Subschnittstelle (also die PVC) nach dem Empfang von drei gültigen Loopback-Zellen in einer Reihe wieder aktiviert.

Hinweis: Der Benutzer kann alle oben beschriebenen Parameter konfigurieren und die Parameter mit dem Befehl show atm pvc vpi/vci überprüfen.

Warnsignal/Fernanzeige für Defekt (AIS/RDI)

Nach der Erkennung eines Fehlers sendet ein für OAM konfiguriertes Gerät AIS-Frames Downstream und sendet RDI-Frames Upstream.

Im folgenden Beispiel werden die AIS- und RDI-Zellen veranschaulicht. Angenommen, das Rx-Signal verschwindet auf einem Switch. Der Ausfall wird in diesem Fall als Loss of Signal (LOS) bezeichnet. Der Switch, der den Ausfall erkannt hat, sendet im Vergleich zum Ausfall ein AIS Downstream und im Vergleich zum Ausfall eine Upstream-Datei.

Beim Empfang solcher Zellen löst ein für die PVC-Verwaltung konfiguriertes Endgerät die betroffenen PVCs aus. Diese AIS- und RDI-Zellen werden mit demselben VPI/VCI gesendet wie die Benutzerzellen auf der PVC. Darüber hinaus sendet das Gerät diese Zellen jede Sekunde, bis der Ausfall eintritt.

Beispielausgabe für Debugging

Fehler können auf verschiedene Weise erkannt werden:

- Ein niedrigerer OAM-Pegel (F1 AIS, Signalverlust usw.) meldet diesen Wert.

- Auslöser hierfür ist der Empfang eines AIS oder einer FDI.

- Das Gerät empfängt keine CC-Zellen mehr.

Eine Continuity Check (CC)-Zelle ist eine Zelle, die von Geräten, die für OAM konfiguriert sind, regelmäßig gesendet und verwendet wird, um die Integrität der "Verbindung" zu überprüfen. Cisco Router senden diese Zellen nicht, daher werden sie hier nicht behandelt. Weitere Informationen zu OAM CC-Zellen finden Sie unter ITU-T I.610.

Im folgenden Debugging wird veranschaulicht, was auf einem für die PVC-Verwaltung konfigurierten Router beim Empfang einer AIS/RDI-Zelle geschieht:

Mar 31 13:11:18.990: ATM OAM(ATM2/0/0.116): Timer: VCD#4 VC 1/116 Status:2 CTag:25470

Tries:0

Mar 31 13:11:18.990: ATM OAM LOOP(ATM2/0/0.116) O: VCD#4 VC 1/116 CTag:637F

Mar 31 13:11:18.990: ATM OAM LOOP(ATM2/0/0) I: VCD#4 VC 1/116 LoopInd:0 CTag:637F

An diesem Punkt fällt die PVC auf Bernard aus (die Hauptschnittstelle auf Guilder ist deaktiviert):

Mar 31 13:11:28.894: ATM OAM(ATM2/0/0.116): Timer: VCD#4 VC 1/116 Status:2 CTag:25471

Tries:0

Mar 31 13:11:28.894: ATM OAM LOOP(ATM2/0/0.116) O: VCD#4 VC 1/116 CTag:6380

Mar 31 13:11:29.806: atm_oam_ais(ATM2/0/0): AIS signal, failure=0x6A, VC 1/116

Mar 31 13:11:29.806: atm_oam_setstate - VCD#4, VC 1/116: newstate = AIS/RDI

Mar 31 13:11:29.806: %LINEPROTO-5-UPDOWN: Line protocol on Interface ATM2/0/0.116, changed state to down

Mar 31 13:11:30.806: atm_oam_ais(ATM2/0/0): AIS signal, failure=0x6A, VC 1/116

Mar 31 13:11:31.806: atm_oam_ais(ATM2/0/0): AIS signal, failure=0x6A, VC 1/116

Mar 31 13:11:32.806: atm_oam_ais(ATM2/0/0): AIS signal, failure=0x6A, VC 1/116

Sie können den neuen PVC-Zustand mit dem folgenden Befehl überprüfen:

Bernard# sh atm pvc 1/116

ATM2/0/0.116: VCD: 4, VPI: 1, VCI: 116

UBR, PeakRate: 155000

AAL5-LLC/SNAP, etype:0x0, Flags: 0xC20, VCmode: 0x0

OAM frequency: 10 second(s), OAM retry frequency: 1 second(s)

OAM up retry count: 3, OAM down retry count: 5

OAM Loopback status: OAM Sent

OAM VC state: AIS/RDI

ILMI VC state: Not Managed

VC is managed by OAM.

InARP frequency: 15 minutes(s)

InPkts: 4, OutPkts: 2, InBytes: 140, OutBytes: 60

InPRoc: 0, OutPRoc: 0, Broadcasts: 0

InFast: 0, OutFast: 0, InAS: 4, OutAS: 2

InPktDrops: 0, OutPktDrops: 0

CrcErrors: 0, SarTimeOuts: 0, OverSizedSDUs: 0

Out CLP=1 Pkts: 0

OAM cells received: 14

F5 InEndloop: 0, F5 InSegloop: 0, F5 InAIS: 14,

F5 InRDI: 0

F4 InEndloop: 0, F4 InSegloop: 0, F4 InAIS: 0, F4 InRDI: 0

OAM cells sent: 15

F5 OutEndloop: 1, F5 OutSegloop: 0, F5 OutRDI: 14

F4 OutEndloop: 0, F4 OutSegloop: 0, F4 OutRDI: 0

OAM cell drops: 0

Status: DOWN, State: NOT_VERIFIED

Wie Sie sehen können, ist die PVC ausgefallen, weil sie ein F5 AIS- oder RDI-Signal erhalten hat (in diesem Fall ein AIS). Sie können auch sehen, dass der Router beim Empfang der F5 AIS-Zellen F5-RDI-Zellen generiert hat.

Im folgenden Beispiel werden die Aktivitäten auf den beiden Switches im Pfad veranschaulicht:

- Auf LS1010-1:

1d03h: % OAM Pkt Rcv

1d03h: % Intf: 0/0/0 VPI: 1 VCI: 116 OAM: F5-END-LPBK

! OAM LB cell

1d03h: % OAM Pkt Sent

1d03h: % Intf: 0/0/1 VPI: 1 VCI: 116 OAM: F5-END-LPBK

! OAM LB cell

An diesem Punkt geht PVC unter Guilder:

1d03h: % OAM Pkt Rcv

1d03h: % Intf: 0/0/1 VPI: 1 VCI: 116 OAM: F5-AIS

! AIS cell sent downstream by LS1010-2 upon detection of the failure

1d03h: % OAM Pkt Sent

1d03h: % Intf: 0/0/0 VPI: 1 VCI: 116 OAM: F5-AIS

1d03h: % OAM Pkt Rcv

1d03h: % Intf: 0/0/0 VPI: 1 VCI: 116 OAM: F5-RDI

! RDI sent by Bernard upstream compared to the failure

1d03h: % OAM Pkt Sent

1d03h: % Intf: 0/0/1 VPI: 1 VCI: 116 OAM: F5-RDI

! Bernard's RDI forwarded upstream

1d03h: % OAM Pkt Rcv

1d03h: % Intf: 0/0/1 VPI: 1 VCI: 116 OAM: F5-AIS

1d03h: % OAM Pkt Sent

1d03h: % Intf: 0/0/0 VPI: 1 VCI: 116 OAM: F5-AIS

Und so weiter, bis der Ausfall beseitigt ist.

- Auf LS1010-2:

Nach Erkennung des Fehlers (in diesem Fall verschwindet das Rx-Signal bei int atm 1/1/2, das mit Guilder verbunden ist) werden AIS-Zellen Downstream an LS1010-1 gesendet:

Mar 31 13:17:09.847: % OAM Pkt Sent

Mar 31 13:17:09.847: % Intf: 0/0/0 VPI: 1 VCI: 116 OAM: F5-AIS

Mar 31 13:17:10.847: % OAM Pkt Sent

Mar 31 13:17:10.847: % Intf: 0/0/0 VPI: 1 VCI: 116 OAM: F5-AIS

Wie Sie bisher auch bei allen DebuggingInnen sehen können, werden alle F5 OAM-Zellen auf VPI 1 VCI 116 gesendet, dem von den Zellen des Benutzers verwendeten VPI/VCI.

Befehle debuggen und anzeigen

- debug atm oam (auf Routern)

- atm pvc vpi/vci mit 12.0 und 12.0T anzeigen

- atm vc <vcd> mit 11.1CC anzeigen

- show int atm x[/y/[z]].w (wir empfehlen, show atm pvc möglichst anstelle von show int atm x) mit 12,0 zu verwenden.

Zugehörige Informationen

- Verwenden von OAM für PVC-Management

- Support-Seiten für ATM-Technologie

- CRC-Fehlerbehebungsleitfaden für ATM-Schnittstellen

- Fehlerbehebung bei PVC-Fehlern bei Verwendung von OAM-Zellen und PVC-Management

- Tools und Ressourcen

- Technischer Support und Dokumentation - Cisco Systems