Inhoud

1. Inleiding

2. Overzicht

3. Onderdelen

4. Configuratie-analyse

5. Probleemoplossing

5.1 Peul-fouten

5.2 CDL Hoe Sessiegegevens te verkrijgen van sessiesleutels

5.3 CDL Pods zijn niet omhoog

5.4 Spiegel Maker pods zijn in de staat

5,5 CDL-index wordt niet correct gerepliceerd

5.6 CDL-operaties falen, maar verbinding succes

5.7 De melding voor het opschonen van gegevens kwam vroeg/vertraagd van CDL

6. Waarschuwingen

7. Meest voorkomende problemen

7.1 cdl-replicatiefout

7.2 cdlRemoteConnection-fout en GRPC_Connections_Remote_Site

8. Grafana

1. Inleiding

Dit artikel zal de grondbeginselen van het oplossen van problemen Gemeenschappelijke Gegevenslaag (CDL) in het milieu van SMF behandelen. Documentatie vindt u op deze link.

2. Overzicht

Cisco Common Data Layer (CDL) is een hoogwaardige next-generation KV (Key-value) dataopslaglaag voor alle Cloud Native applicaties.

CDL wordt momenteel gebruikt als een state management component met HA (High Availability) en Geo HA functies.

De CDL biedt:

- Een gemeenschappelijke gegevensopslaglaag over verschillende netwerkfuncties (NF’s).

- Low latency read and write (in geheugen sessie opslag)

- Licht de NF's in om de abonnee te blokkeren wanneer een DoS-aanval (Denial of Service) op dezelfde sessie wordt gemeld.

- Hoge beschikbaarheid - lokale redundantie met minimaal 2 replica's.

- Geo Redundantie met 2 sites.

- Geen primair/secundair concept alle slots beschikbaar voor schrijfbewerkingen. Verbetert failover tijd aangezien geen primaire verkiezingen plaatsvinden.

3. Onderdelen

- Eindpunt: (cdl-ep-sessie-c1-d0-7c79c87d65-xpm5v)

- Het CDL eindpunt is een Kubernetes (K8s) POD. Het wordt gebruikt voor het blootstellen van gRPC over HTTP2 interface aan de NF-client is voor het verwerken van databaseserviceverzoeken en fungeert als ingangspunt voor de noordelijke toepassingen.

- Sleuf: (cdl-sleuf-sessie-c1-m1-0)

- Het CDL-eindpunt ondersteunt meerdere sleufmicroservices. Deze microservices zijn K8s POD geïmplementeerd voor het weergeven van interne gRPC-interface in de Cisco Data Store

- Elke sleuf POD houdt een eindig aantal sessies. Deze sessies zijn de feitelijke sessiegegevens in byte array-indeling

- Index: (cdl-index-sessie-c1-m1-0)

- Index microservice houdt de indexgerelateerde gegevens in

- Deze indexeringsgegevens worden vervolgens gebruikt om de feitelijke sessiegegevens op te halen van de sleufmicroservices

- ETCD: (etcd-smf-etcd-cluster-0)

- CDL gebruikt de ETCD (een opensource-toetswaardeopslag) als de DB-servicedetectie. Wanneer de Cisco Data Store EP wordt gestart, gedood of uitgeschakeld, resulteert dit in de toevoeging van een gebeurtenis door de publicatiestaat. Daarom worden de berichten verzonden naar elk van de PODs die aan deze gebeurtenissen worden geabonneerd. Bovendien, wanneer een belangrijke gebeurtenis wordt toegevoegd of verwijderd, verfrist het de lokale kaart.

- Kafka: (kafka-0)

- De Kafka POD repliceert gegevens tussen de lokale replica's en over sites voor indexering. Voor replicatie via sites maakt Kafak gebruik van MirrorMaker.

- Spiegelmaker: (spiegelmaker 0)

- De Mirror Maker POD-geo-repliceert de indexeringsgegevens naar de externe CDL-sites. Het neemt gegevens van de afgelegen sites en publiceert ze naar de lokale Kafka site om de juiste indexeringsinstanties op te halen.

Voorbeeld:

master-1:~$ kubectl get pods -n smf-smf -o wide

NAME                                                        READY   STATUS    RESTARTS   AGE   IP                NODE                         NOMINATED NODE   READINESS GATES

cdl-ep-session-c1-d0-7889db4d87-5mln5                       1/1     Running   0          80d   192.168.16.247   smf-data-worker-5   <none>           <none>

cdl-ep-session-c1-d0-7889db4d87-8q7hg                       1/1     Running   0          80d   192.168.18.108   smf-data-worker-1   <none>           <none>

cdl-ep-session-c1-d0-7889db4d87-fj2nf                       1/1     Running   0          80d   192.168.24.206   smf-data-worker-3   <none>           <none>

cdl-ep-session-c1-d0-7889db4d87-z6c2z                       1/1     Running   0          34d   192.168.4.164    smf-data-worker-2   <none>           <none>

cdl-ep-session-c1-d0-7889db4d87-z7c89                       1/1     Running   0          80d   192.168.7.161    smf-data-worker-4   <none>           <none>

cdl-index-session-c1-m1-0                                   1/1     Running   0          80d   192.168.7.172    smf-data-worker-4   <none>           <none>

cdl-index-session-c1-m1-1                                   1/1     Running   0          80d   192.168.24.241   smf-data-worker-3   <none>           <none>

cdl-index-session-c1-m2-0                                   1/1     Running   0          49d   192.168.18.116   smf-data-worker-1   <none>           <none>

cdl-index-session-c1-m2-1                                   1/1     Running   0          80d   192.168.7.173    smf-data-worker-4   <none>           <none>

cdl-index-session-c1-m3-0                                   1/1     Running   0          80d   192.168.24.197   smf-data-worker-3   <none>           <none>

cdl-index-session-c1-m3-1                                   1/1     Running   0          80d   192.168.18.107   smf-data-worker-1   <none>           <none>

cdl-index-session-c1-m4-0                                   1/1     Running   0          80d   192.168.7.158    smf-data-worker-4   <none>           <none>

cdl-index-session-c1-m4-1                                   1/1     Running   0          49d   192.168.16.251   smf-data-worker-5   <none>           <none>

cdl-slot-session-c1-m1-0                                    1/1     Running   0          80d   192.168.18.117   smf-data-worker-1   <none>           <none>

cdl-slot-session-c1-m1-1                                    1/1     Running   0          80d   192.168.24.201   smf-data-worker-3   <none>           <none>

cdl-slot-session-c1-m2-0                                    1/1     Running   0          80d   192.168.16.245   smf-data-worker-5   <none>           <none>

cdl-slot-session-c1-m2-1                                    1/1     Running   0          80d   192.168.18.123   smf-data-worker-1   <none>           <none>

cdl-slot-session-c1-m3-0                                    1/1     Running   0          34d   192.168.4.156    smf-data-worker-2   <none>           <none>

cdl-slot-session-c1-m3-1                                    1/1     Running   0          80d   192.168.18.78    smf-data-worker-1   <none>           <none>

cdl-slot-session-c1-m4-0                                    1/1     Running   0          34d   192.168.4.170    smf-data-worker-2   <none>           <none>

cdl-slot-session-c1-m4-1                                    1/1     Running   0          80d   192.168.7.177    smf-data-worker-4   <none>           <none>

cdl-slot-session-c1-m5-0                                    1/1     Running   0          80d   192.168.24.246   smf-data-worker-3   <none>           <none>

cdl-slot-session-c1-m5-1                                    1/1     Running   0          34d   192.168.4.163    smf-data-worker-2   <none>           <none>

cdl-slot-session-c1-m6-0                                    1/1     Running   0          80d   192.168.18.119   smf-data-worker-1   <none>           <none>

cdl-slot-session-c1-m6-1                                    1/1     Running   0          80d   192.168.16.228   smf-data-worker-5   <none>           <none>

cdl-slot-session-c1-m7-0                                    1/1     Running   0          80d   192.168.16.215   smf-data-worker-5   <none>           <none>

cdl-slot-session-c1-m7-1                                    1/1     Running   0          49d   192.168.4.167    smf-data-worker-2   <none>           <none>

cdl-slot-session-c1-m8-0                                    1/1     Running   0          49d   192.168.24.213   smf-data-worker-3   <none>           <none>

cdl-slot-session-c1-m8-1                                    1/1     Running   0          80d   192.168.16.253   smf-data-worker-5   <none>           <none>

etcd-smf-smf-etcd-cluster-0                            2/2     Running   0          80d   192.168.11.176   smf-data-master-1   <none>           <none>

etcd-smf-smf-etcd-cluster-1                            2/2     Running   0          48d   192.168.7.59     smf-data-master-2   <none>           <none>

etcd-smf-smf-etcd-cluster-2                            2/2     Running   1          34d   192.168.11.66    smf-data-master-3   <none>           <none>

georeplication-pod-0                                        1/1     Running   0          80d   10.10.1.22       smf-data-master-1   <none>           <none>

georeplication-pod-1                                        1/1     Running   0          48d   10.10.1.23       smf-data-master-2   <none>           <none>

grafana-dashboard-cdl-smf-smf-77bd69cff7-qbvmv         1/1     Running   0          34d   192.168.7.41     smf-data-master-2   <none>           <none>

kafka-0                                                     2/2     Running   0          80d   192.168.24.245   smf-data-worker-3   <none>           <none>

kafka-1                                                     2/2     Running   0          49d   192.168.16.200   smf-data-worker-5   <none>           <none>

mirror-maker-0                                              1/1     Running   1          80d   192.168.18.74    smf-data-worker-1   <none>           <none>

zookeeper-0                                                 1/1     Running   0          34d   192.168.11.73    smf-data-master-3   <none>           <none>

zookeeper-1                                                 1/1     Running   0          48d   192.168.7.47     smf-data-master-2   <none>           <none>

zookeeper-2

CDL-architectuur

Opmerking: geen primair/secundair concept alle slots beschikbaar voor schrijfbewerkingen. Verbetert failover tijd aangezien geen primaire verkiezingen plaatsvinden.

Opmerking: standaard wordt CDL ingezet met 2 replica's voor db-ep, 1 sleufkaart (2 replica's per kaart) en 1 indexkaart (2 replica's per kaart).

4. Configuratie-analyse

smf# show running-config cdl

cdl system-id          1            /// unique across the site, system-id 1 is the primary site ID for sliceNames SMF1 SMF2 in HA GR CDL deploy

cdl node-type          db-data      /// node label to configure the node affinity

cdl enable-geo-replication true     /// CDL GR Deployment with 2 RACKS

cdl remote-site 2

db-endpoint host x.x.x.x      /// Remote site cdl-ep configuration on site-1

db-endpoint port 8882

kafka-server x.x.x.x 10061    /// Remote site kafka configuration on site-1

exit

kafka-server x.x.x.x 10061

exit

exit

cdl label-config session            /// Configures the list of label for CDL pods

endpoint key smi.cisco.com/node-type-3

endpoint value session

slot map 1

key   smi.cisco.com/node-type-3

value session

exit

slot map 2

key   smi.cisco.com/node-type-3

value session

exit

slot map 3

key   smi.cisco.com/node-type-3

value session

exit

slot map 4

key   smi.cisco.com/node-type-3

value session

exit

slot map 5

key   smi.cisco.com/node-type-3

value session

exit

slot map 6

key   smi.cisco.com/node-type-3

value session

exit

slot map 7

key   smi.cisco.com/node-type-3

value session

exit

slot map 8

key   smi.cisco.com/node-type-3

value session

exit

index map 1

key   smi.cisco.com/node-type-3

value session

exit

index map 2

key   smi.cisco.com/node-type-3

value session

exit

index map 3

key   smi.cisco.com/node-type-3

value session

exit

index map 4

key   smi.cisco.com/node-type-3

value session

exit

exit

cdl datastore session                 /// unique with in the site

label-config    session

geo-remote-site [ 2 ]

slice-names     [ SMF1 SMF2 ]

endpoint cpu-request 2000

endpoint go-max-procs 16

endpoint replica 5                  /// number of cdl-ep pods

endpoint external-ip x.x.x.x

endpoint external-port 8882

index cpu-request 2000

index go-max-procs 8

index replica 2                     /// number of replicas per mop for cdl-index, can not be changed after CDL deployement.

NOTE: If you need to change number of index replica, set the system mode to shutdown from respective ops-center CLI, change the replica and set the system mode to running

index map    4                      /// number of mops for cdl-index

index write-factor 1                /// number of copies to be written before a successful response

slot cpu-request 2000

slot go-max-procs 8

slot replica 2                     /// number of replicas per mop for cdl-slot

slot map     8                    /// number of mops for cdl-slot

slot write-factor 1

slot metrics report-idle-session-type true

features instance-aware-notification enable true      /// This enables GR failover notification

features instance-aware-notification system-id 1

slice-names [ SMF1 ]

exit

features instance-aware-notification system-id 2

slice-names [ SMF2 ]

exit

exit

cdl kafka replica 2

cdl kafka label-config key smi.cisco.com/node-type-3

cdl kafka label-config value session

cdl kafka external-ip x.x.x.x 10061

exit

cdl kafka external-ip x.x.x.x 10061

exit

5. Probleemoplossing

5.1 Peul-fouten

De werking van CDL is eenvoudig Key > Value db.

- Alle verzoeken komen naar de cdl-endpoint pods.

- In cdl-index pods slaan we sleutels op, ronde robin.

- In cdl-slot slaan we waarde (sessie info) op, ronde robin.

- We definiëren back-up (aantal replica's) voor elke pod map (type).

- Kafka pod wordt gebruikt als transportbus.

- spiegelmaker wordt gebruikt als transportbus naar ander rek (Geo redundantie).

Falen voor elk kon worden vertaald als, dat wil zeggen als alle peulen van dit type/kaart tegelijkertijd daalden:

- cdl-endpoint - fouten in de communicatie met CDL

- cdl-index - sleutels voor sessiegegevens verloren gaan

- cdl-sleuf - verlies van sessiegegevens

- Kafka - losse synchronisatieoptie tussen de peul-type kaarten

- spiegelmaker - het verliezen van sync met andere geo redudand knooppunt

We kunnen altijd logboeken verzamelen van relevante pods omdat cdl pod logs niet zo snel rollover, dus er is extra waarde om ze te verzamelen.

Remamber tac-debug verzamelt snapshot op tijd terwijl logboeken alle gegevens afdrukken omdat het is opgeslagen.

Peul beschrijven

kubectl describe pod cdl-ep-session-c1-d0-7889db4d87-5mln5 -n smf-rcdn

Peul logs verzamelen

kubectl logs cdl-ep-session-c1-d0-7c79c87d65-xpm5v -n smf-rcdn

5.2 CDL Hoe Sessiegegevens te verkrijgen van sessiesleutels

Binnen CDL heeft elke sessie een veld met de naam "unieke sleutels" dat deze sessie identificeert.

Als we sessieafdruk vergelijken van show subscriber supi en cdl toon sessies samenvatting plak-naam slice1 db-naam sessiefilter

- IPv4-sessieadres in combinatie met supi = "1#/#imsi-123969789012404:10.0.0.3"

- ddn + ip4 adres = "1#/#lab:10.0.0.3"

- IPv6-sessieadres in combinatie met supi = "1#/#imsi-123969789012404:2001:db0:0:2:"

- ddn + ipv6-adres van sessie = "1#/#lab:2001:db0:0:2:"

- smfTeid ook N4 Sessiesleutel = "1#/#293601283" Dit is echt handig wanneer problemen oplossen fouten op UPF, kunt u zoeken door sessielogboeken en vinden sessie gerelateerde informatie.

- supi + ebi = "1#/#imsi-123969789012404:ebi-5"

- supi + ddn= "1#/#imsi-123969789012404:lab"

[smf/data] smf# cdl show sessions summary slice-name slice1 db-name session filter { condition match key 1#/#293601283 }

Sun Mar  19 20:17:41.914 UTC+00:00

message params: {session-summary cli session {0 100 1#/#293601283 0 [{0 1#/#293601283}] [] 0 0 false 4096 [] [] 0} slice1}

session {

primary-key 1#/#imsi-123969789012404:1

unique-keys [ "1#/#imsi-123969789012404:10.0.0.3" "1#/#lab:10.0.0.3" "1#/#imsi-123969789012404:2001:db0:0:2::" "1#/#lab:2001:db0:0:2::" "1#/#293601283" "1#/#imsi-123969789012404:ebi-5" "1#/#imsi-123969789012404:lab" ]

non-unique-keys [ "1#/#roaming-status:visitor-lbo" "1#/#ue-type:nr-capable" "1#/#supi:imsi-123969789012404" "1#/#gpsi:msisdn-22331010101010" "1#/#pei:imei-123456789012381" "1#/#psid:1" "1#/#snssai:001000003" "1#/#dnn:lab" "1#/#emergency:false" "1#/#rat:nr" "1#/#access:3gpp" access "1#/#connectivity:5g" "1#/#udm-uecm:10.10.10.215" "1#/#udm-sdm:10.10.10.215" "1#/#auth-status:unauthenticated" "1#/#pcfGroupId:PCF-dnn=lab;" "1#/#policy:2" "1#/#pcf:10.10.10.216" "1#/#upf:10.10.10.150" "1#/#upfEpKey:10.10.10.150:10.10.10.202" "1#/#ipv4-addr:pool1/10.0.0.3" "1#/#ipv4-pool:pool1" "1#/#ipv4-range:pool1/10.0.0.1" "1#/#ipv4-startrange:pool1/10.0.0.1" "1#/#ipv6-pfx:pool1/2001:db0:0:2::" "1#/#ipv6-pool:pool1" "1#/#ipv6-range:pool1/2001:db0::" "1#/#ipv6-startrange:pool1/2001:db0::" "1#/#id-index:1:0:32768" "1#/#id-value:2/3" "1#/#chfGroupId:CHF-dnn=lab;" "1#/#chf:10.10.10.218" "1#/#amf:10.10.10.217" "1#/#peerGtpuEpKey:10.10.10.150:20.0.0.1" "1#/#namespace:smf" ]

flags [ flag3:peerGtpuEpKey:10.10.10.150:20.0.0.1 session-state-flag:smf_active ]

map-id 2

instance-id 1

app-instance-id 1

version 1

create-time 2023-03-19 20:14:14.381940117 +0000 UTC

last-updated-time 2023-03-19 20:14:14.943366502 +0000 UTC

purge-on-eval false

next-eval-time 2023-03-26 20:14:14 +0000 UTC

session-types [ rat_type:NR wps:non_wps emergency_call:false pdu_type:ipv4v6 dnn:lab qos_5qi_1_rat_type:NR ssc_mode:ssc_mode_1 always_on:disable fourg_only_ue:false up_state:active qos_5qi_5_rat_type:NR dcnr:disable smf_roaming_status:visitor-lbo dnn:lab:rat_type:NR ]

data-size 2866

}

[smf/data] smf#

Als we het vergelijken met de afdruk van het SMF:

[smf/data] smf# show subscriber supi imsi-123969789012404 gr-instance 1 namespace smf

Sun Mar  19 20:25:47.816 UTC+00:00

subscriber-details

{

"subResponses": [

[

"roaming-status:visitor-lbo",

"ue-type:nr-capable",

"supi:imsi-123969789012404",

"gpsi:msisdn-22331010101010",

"pei:imei-123456789012381",

"psid:1",

"snssai:001000003",

"dnn:lab",

"emergency:false",

"rat:nr",

"access:3gpp access",

"connectivity:5g",

"udm-uecm:10.10.10.215",

"udm-sdm:10.10.10.215",

"auth-status:unauthenticated",

"pcfGroupId:PCF-dnn=lab;",

"policy:2",

"pcf:10.10.10.216",

"upf:10.10.10.150",

"upfEpKey:10.10.10.150:10.10.10.202",

"ipv4-addr:pool1/10.0.0.3",

"ipv4-pool:pool1",

"ipv4-range:pool1/10.0.0.1",

"ipv4-startrange:pool1/10.0.0.1",

"ipv6-pfx:pool1/2001:db0:0:2::",

"ipv6-pool:pool1",

"ipv6-range:pool1/2001:db0::",

"ipv6-startrange:pool1/2001:db0::",

"id-index:1:0:32768",

"id-value:2/3",

"chfGroupId:CHF-dnn=lab;",

"chf:10.10.10.218",

"amf:10.10.10.217",

"peerGtpuEpKey:10.10.10.150:20.0.0.1",

"namespace:smf",

"nf-service:smf"

]

]

}

Controleer CDL-status op SMF:

cdl show status

cdl show sessions summary slice-name <slice name> | more

5.3 CDL Pods zijn niet omhoog

Hoe te identificeren

Controleer de beschrijf pods output (containers/lid/staat/Reden, gebeurtenissen).

kubectl describe pods -n <namespace> <failed pod name>

Hoe te repareren

1. Controleer of een k8s-knooppunt met de labelwaarden gelijk aan de waarde van het aantal replica's van het cdl-/knooptype kleiner is dan of gelijk is aan het aantal k8s-knooppunten met de labelwaarden gelijk aan de waarde van het cdl-/knooptype
kubectl get nodes -l smi.cisco.com/node-type=<value of cdl/node-type, default value is 'session' in multi node setup)

2. Pods zijn in CrashLoopBackOff foutstatus Controleer de status van de pods. Als etcd-pods niet actief zijn, verhelpt u de etcd-problemen.
kubectl describe pods -n <namespace> <etcd pod name>

3. Pods zijn in ImagePullBack foutstatus Controleer of de helm repository en image register toegankelijk is. Controleer indien nodig of proxy- en DNS-servers zijn geconfigureerd.

5.4 Spiegel Maker pods zijn in de staat

Controleer de beschrijving van pods uitvoer en pod logs

kubectl describe pods -n <namespace> <failed pod name>

kubectl logs -n <namespace> <failed pod name> [-c <container name>]

Hoe te repareren

- Controleer of de externe IP's die zijn geconfigureerd voor Kafka correct zijn

- Controleer de beschikbaarheid van kafka via externe IP's

5,5 CDL-index wordt niet correct gerepliceerd

Hoe te identificeren

Gegevens die op één site worden toegevoegd, zijn niet toegankelijk vanaf een andere site.

Hoe te repareren

- Controleer de configuratie van de lokale systeem-id en de configuratie van de externe locatie.

- Controleer de bereikbaarheid van CDL-eindpunten en kafka tussen elke sites.

- Controleer de kaart, replica van index en sleuf op elke site. Het kan identiek zijn op alle sites.

5.6 CDL-operaties falen, maar verbinding succes

Hoe te repareren

- Controleer of alle peulen klaar zijn voor gebruik.

- De indexpeulen zijn in klaar staat slechts als zij synchronisatie met peer replica (lokaal of ver indien beschikbaar) volledig zijn

- De peulen van de sleuf zijn in klaar staat slechts als zij synchronisatie met peer replica (lokaal of ver indien beschikbaar) volledig is

- Endpoint is NIET in klaar staat als ten minste één sleuf en één indexpeulen niet beschikbaar is. Zelfs als het niet klaar is zal de verbinding van de groep van de cliënt worden aanvaard.

5.7 De melding voor het opschonen van gegevens kwam vroeg/vertraagd van CDL

Hoe te repareren

- In een k8s-cluster kunnen alle knooppunten gesynchroniseerd worden in de tijd

- Controleer NTP-synchronisatiestatus op alle k8s-knooppunten. Als er problemen zijn, maak het dan op.

chronyc tracking

chronyc sources -v

chronyc sourcestats -v

6. Waarschuwingen

ALARM

ernst

samenvatting

cdlLokale aanvraag-fout

Critical (Kritiek)

Als het succes van lokale aanvragen minder dan 90% is gedurende meer dan 5 minuten, wordt het alarm geactiveerd

CDLRemote-verbindingsfout

Critical (Kritiek)

Als de actieve verbindingen van eindpuntpeul aan verre plaats 0 langer dan 5 minuten bereikten, dan wordt het alarm opgeheven (slechts voor GR toegelaten systeem)

CDLRemote-aanvraagfout

Critical (Kritiek)

Als het succes van inkomende externe verzoeken minder dan 90% is gedurende meer dan 5 minuten, wordt het alarm geactiveerd (alleen voor het GR-systeem)

cdl-replicatiefout

Critical (Kritiek)

Als de verhouding van uitgaande replicatieverzoeken tot lokale verzoeken in cdl-global naamruimte meer dan 5 minuten onder 90% is gegaan.(alleen voor GR-systeem). Deze waarschuwingen worden verwacht tijdens de upgradeactiviteit en u kunt deze dus negeren.

cdlKafkaRemote-replicatievertraging

Critical (Kritiek)

Als kafka-replicatievertraging naar externe site, kruist 10 seconden langer dan 5 minuten dan wordt het alarm omhoog gezet (alleen voor GR-systeem ingeschakeld)

cdlOverbelast - groot

Major (Groot)

Als het CDL-systeem een ingesteld percentage (standaard 80%) van de capaciteit bereikt, wordt het alarm geactiveerd (alleen als de functie Overload Protection is ingeschakeld)

cdlOverbelast - kritiek

Critical (Kritiek)

Als het CDL-systeem het ingestelde percentage (standaard 90%) van de capaciteit bereikt, wordt het alarm geactiveerd (alleen als de functie Overload Protection is ingeschakeld)

cdlKafka-verbindingsfout

Critical (Kritiek)

Als de CDL-indexpods langer dan 5 minuten uit kafka worden losgekoppeld

7. Meest voorkomende problemen

7.1 cdl-replicatiefout

Deze waarschuwing wordt meestal gezien tijdens het opbrengen van het ops-centrum of systeemupgrade, proberen te vinden CR voor het, proberen te controleren op CEE-voorval van de waarschuwing en was het reeds geklaard.

7.2 cdlRemoteConnectionFailure & GRPC_Connections_Remote_Site

De verklaring is van toepassing voor alle waarschuwingen "cdlRemoteConnectionFailure" en "GRPC_Connections_Remote_Site".

Voor waarschuwingen over cdlRemoteConnection-fouten:

Uit CDL-endpointlogs, zien we dat de verbinding met de externe host van CDL-endpointpod verloren is gegaan:

2022/01/20 01:36:18.852 [ERROR] [RemoteEndointConnection.go:572] [datastore.ep.session] Connection to remote systemID 2 has been lost

We konden de CDL eindpunt pod zien proberen te verbinden met de externe server, maar dit werd geweigerd door de externe host:

2022/01/20 01:37:08.730 [WARN] [checksum.go:836] [datastore.checksum.session] Could not get checksum from remote for systemID: 2, clot: 8, Instance: 2 : rpc error: code = Unavailable desc = connection error: desc = "transport: Error while dialing dial tcp 10.10.10.141:8882: connect: connection refused"

2022/01/20 01:37:08.732 [WARN] [checksum.go:836] [datastore.checksum.session] Could not get checksum from remote for systemID: 2, clot: 8, Instance: 1 : rpc error: code = Unavailable desc = connection error: desc = "transport: Error while dialing dial tcp 10.10.10.141:8882: connect: connection refused"

2022/01/20 01:37:08.742 [WARN] [checksum.go:836] [datastore.checksum.session] Could not get checksum from remote for systemID: 2, clot: 8, Instance: 1 : rpc error: code = Unavailable desc = connection error: desc = "transport: Error while dialing dial tcp 10.10.10.141:8882: connect: connection refused"

2022/01/20 01:37:08.742 [WARN] [checksum.go:836] [datastore.checksum.session] Could not get checksum from remote for systemID: 2, clot: 8, Instance: 2 : rpc error: code = Unavailable desc = connection error: desc = "transport: Error while dialing dial tcp 10.10.10.141:8882: connect: connection refused"

2022/01/20 01:37:08.752 [WARN] [checksum.go:836] [datastore.checksum.session] Could not get checksum from remote for systemID: 2, clot: 7, Instance: 2 : rpc error: code = Unavailable desc = connection error: desc = "transport: Error while dialing dial tcp 10.10.10.141:8882: connect: connection refused"

2022/01/20 01:37:08.754 [WARN] [checksum.go:836] [datastore.checksum.session] Could not get checksum from remote for systemID: 2, clot: 7, Instance: 1 : rpc error: code = Unavailable desc = connection error: desc = "transport: Error while dialing dial tcp 10.10.10.141:8882: connect: connection refused"

Aangezien de afgelegen host 5 minuten onbereikbaar bleef - de waarschuwing werd als volgt verhoogd:

alerts history detail cdlRemoteConnectionFailure f5237c750de6

severity critical

type "Processing Error Alarm"

startsAt 2025-01-21T01:41:26.857Z

endsAt 2025-01-21T02:10:46.857Z

source cdl-ep-session-c1-d0-6d86f55945-pxfx9

summary "CDL endpoint connections from pod cdl-ep-session-c1-d0-6d86f55945-pxfx9 and namespace smf-rcdn to remote site reached 0 for longer than 5 minutes"

labels [ "alertname: cdlRemoteConnectionFailure" "cluster: smf-data-rcdn_cee" "monitor: prometheus" "namespace: smf-rcdn" "pod: cdl-ep-session-c1-d0-6d86f55945-pxfx9" "replica: smf-data-rcdn_cee" "severity: critical" ]

annotations [ "summary: CDL endpoint connections from pod cdl-ep-session-c1-d0-6d86f55945-pxfx9 and namespace smf-rcdn to remote site reached 0 for longer than 5 minutes" "type: Processing Error Alarm" ]

Verbinding met externe host is geslaagd op 02:10:32:

2022/01/20 02:10:32.702 [WARN] [RemoteEndointConnection.go:437] [datastore.ep.session] Stream to remote site successful

2022/01/20 02:10:38.923 [WARN] [RemoteEndointConnection.go:563] [datastore.ep.session] Cdl status changed - new version 283eb1e86aa9561c653083e6b691c919, old version f81478148c9e1ccb28f3ec0d90ca04e1. Reloading connections

2022/01/20 02:10:38.927 [WARN] [RemoteEndointConnection.go:437] [datastore.ep.session] Stream to remote site successful

2022/01/20 02:10:38.934 [WARN] [RemoteEndointConnection.go:437] [datastore.ep.session] Stream to remote site successful

2022/01/20 02:10:38.934 [WARN] [RemoteEndointConnection.go:437] [datastore.ep.session] Stream to remote site successful

2022/01/20 02:10:38.935 [WARN] [RemoteEndointConnection.go:437] [datastore.ep.session] Stream to remote site successful

Config aanwezig in SMF voor CDL-afstandsbediening:

cdl remote-site 2

db-endpoint host 10.10.10.141

db-endpoint port 8882

kafka-server 10.10.19.139 10061

exit

kafka-server 10.10.10.140 10061

exit

exit

Voor waarschuwing GRPC_Connections_Remote_Site:

Dezelfde uitleg is ook van toepassing op "GRPC_Connections_Remote_Site", aangezien het ook van dezelfde CDL-eindpuntpod afkomstig is.

alerts history detail GRPC_Connections_Remote_Site f083cb9d9b8d

severity critical

type "Communications Alarm"

startsAt 2025-01-21T01:37:35.160Z

endsAt 2025-01-21T02:11:35.160Z

source cdl-ep-session-c1-d0-6d86f55945-pxfx9

summary "GRPC connections to remote site are not equal to 4"

labels [ "alertname: GRPC_Connections_Remote_Site" "cluster: smf-data-rcdn_cee" "monitor: prometheus" "namespace: smf-rcdn" "pod: cdl-ep-session-c1-d0-6d86f55945-pxfx9" "replica: smf-data-rcdn_cee" "severity: critical" "systemId: 2" ]

Van CDL-endpointlogboeken, De waarschuwing begon toen de verbinding met de externe host werd geweigerd:

2022/01/20 01:36:18.852 [ERROR] [RemoteEndointConnection.go:572] [datastore.ep.session] Connection to remote systemID 2 has been lost

De waarschuwing werd gewist toen de verbinding met de externe site succesvol was:

2022/01/20 02:10:32.702 [WARN] [RemoteEndointConnection.go:437] [datastore.ep.session] Stream to remote site successful

2022/01/20 02:10:38.923 [WARN] [RemoteEndointConnection.go:563] [datastore.ep.session] Cdl status changed - new version 283eb1e86aa9561c653083e6b691c919, old version f81478148c9e1ccb28f3ec0d90ca04e1. Reloading connections

2022/01/20 02:10:38.927 [WARN] [RemoteEndointConnection.go:437] [datastore.ep.session] Stream to remote site successful

2022/01/20 02:10:38.934 [WARN] [RemoteEndointConnection.go:437] [datastore.ep.session] Stream to remote site successful

2022/01/20 02:10:38.934 [WARN] [RemoteEndointConnection.go:437] [datastore.ep.session] Stream to remote site successful

2022/01/20 02:10:38.935 [WARN] [RemoteEndointConnection.go:437] [datastore.ep.session] Stream to remote site successful

8. Grafana

CDL Dashboard maakt deel uit van elke SMF-implementatie.