Sommario

Introduzione

Prerequisiti

Requisiti

Componenti usati

Metodologia di risoluzione dei problemi

Termini e acronimi

Posizionamento della memoria

Errori di memoria

Errori correggibili e non correggibili

Risoluzione dei problemi relativi ai DIMM tramite UCSM e CLI

Per controllare gli errori dalla GUI

Per controllare gli errori dalla CLI

File di log da archiviare nel supporto tecnico

Blacklist DIMM

Metodi per eliminare gli errori relativi alla blacklist DIMM

GUI UCSM

UCSM CLI

Informazioni correlate

Bug degni di nota

Introduzione

Questo documento descrive come risolvere i problemi dei moduli di memoria e i problemi correlati nella soluzione Cisco Unified Computing System (UCS).

Prerequisiti

Requisiti

Cisco raccomanda la conoscenza  Cisco Unified Computing System (Cisco UCS) .

Componenti usati

Il documento può essere consultato per tutte le versioni software o hardware.

Tuttavia, il presente documento riguarda:

- Cisco UCS B-Series Blade Servers

- UCS Manager

- UCS utilizza Dual In-line Memory Module (DIMM) come moduli RAM.

Le informazioni discusse in questo documento fanno riferimento a dispositivi usati in uno specifico ambiente di emulazione. Su tutti i dispositivi menzionati nel documento la configurazione è stata ripristinata ai valori predefiniti. Se la rete è operativa, valutare attentamente eventuali conseguenze derivanti dall'uso dei comandi.

Metodologia di risoluzione dei problemi

In questa sezione vengono illustrate diverse parti dei problemi relativi alla memoria UCS.

- Posizionamento memoria

- Risoluzione dei problemi relativi ai DIMM tramite UCSM e CLI

- Registri per il check-in del supporto tecnico

Termini e acronimi

DIMM

Modulo di memoria dual in-line

ECC

Errore durante la correzione del codice

LVDIMM

DIMM a bassa tensione

MCA

Architettura controllo computer

MEMBIST

Test automatico incorporato della memoria

MRC

Codice riferimento memoria

POST

Test automatico di accensione

SPD

Rilevamento presenza seriale

DDR

Double Data Rate

RAS

Affidabilità, disponibilità e facilità di manutenzione

Posizionamento della memoria

Il posizionamento della memoria è uno degli aspetti fisici più evidenti della soluzione UCS.

In genere il server è dotato di memoria precompilata con una quantità richiesta.

In caso di dubbi, consultare la guida all'installazione dell'hardware.

Per le regole di compilazione della memoria, fare riferimento alle specifiche tecniche della serie B per la piattaforma specifica.

Link alle specifiche tecniche della serie B:

https://www.cisco.com/c/en/us/products/servers-unified-computing/ucs-b-series-blade-servers/datasheet-listing.html

Errori di memoria

- Errore DIMM

- Multibit = Non correggibile

- Il POST è mappato dal BIOS; il sistema operativo non vede DIMM

- Il runtime in genere causa il riavvio del sistema operativo

- Singlebit = Correctable

- Il sistema operativo continua a visualizzare la DIMM

- Errore ECC (Error Correcting Code)

- Errore di parità

- Errore SPD (Serial Presence Detect)

- Errore di configurazione

- DIMM non supportati

- Popolamento DIMM non supportato

- DIMM non accoppiati

- Errori di mancata corrispondenza

- Errore non stabilizzabile dell'identità

- Verifica e aggiorna il catalogo

Errori correggibili e non correggibili

La possibilità di correggere o meno un determinato errore dipende dalla forza del codice ECC utilizzato nel sistema di memoria.

L'hardware dedicato è in grado di correggere gli errori correggibili quando si verificano senza alcun impatto sull'esecuzione del programma.

I DIMM con errori correggibili non vengono disattivati e sono disponibili per l'uso da parte del sistema operativo. OSPF (Open Shortest Path First)  Total Memory  e  Effective Memory  sono uguali.

Questi errori correggibili sono segnalati nello stato di operabilità UCSM come  Degraded  mentre l'operabilità generale è  Operable  con errori correggibili.

Errori non correggibili rendono impossibile l'esecuzione dell'applicazione o del sistema operativo.

I DIMM con errori non correggibili sono disabilitati e il sistema operativo non li visualizza. Modifica OperState UCSM in  Inoperable  in questo caso.

Risoluzione dei problemi relativi ai DIMM tramite UCSM e CLI

Per controllare gli errori dalla GUI

UCSM

Log

Descrizione

Stato DIMM

Operabilità

SEL

Commenti

Operabile

Operabile

Controllare il registro SEL per gli errori relativi al modulo DIMM

Un modulo DIMM è installato e funzionante.

Operabile

Danneggiato

Controllare l'eventuale presenza di errori ECC in SEL

Durante il runtime viene rilevato un errore DIMM ECC correggibile.

Rimosso

N/D

Nessun log

DIMM non installato o dati SPD danneggiati.

Disattivato

Operabile

Controlla SEL per individuare eventuali errori di identità non stabilizzabili

Verifica e aggiorna catalogo funzionalità

Disattivato

N/D

Controllare SEL se un'altra DIMM in è guasta nello stesso canale

Un modulo DIMM è integro ma disabilitato perché una regola di configurazione non può essere mantenuta da un modulo DIMM guasto nello stesso canale.

Disattivato

N/D

Nessun log

Regola di configurazione della memoria non riuscita a causa di DIMM mancanti.

Inoperabile

Inutilizzabile/da sostituire

È stato rilevato un errore ECC UE.

Danneggiato

Inoperabile

Controllare l'eventuale presenza di errori ECC in SEL

Lo stato DIMM e l'operabilità sono cambiati a causa di errori ECC rilevati prima del riavvio dell'host.

Danneggiato

Inutilizzabile/da sostituire

Controllo SEL per errori ECC durante POST/MRC

È stato rilevato un errore ECC non correggibile durante il runtime, DIMM rimane disponibile per il sistema operativo, si blocca e viene ripristinato, ma può comunque utilizzare questo DIMM. L'errore può ripetersi in seguito. Nella maggior parte dei casi è necessario sostituire DIMM.

Per ottenere le statistiche, passare a Equipment > Chassis > Server > Inventory > Memory, quindi fare clic con il pulsante destro del mouse  Memory  e selezionare  show navigator .

Per controllare gli errori dalla CLI

Questi comandi sono utili per risolvere gli errori dalla CLI.

scope server x/y -> show memory detail

scope server x/y -> show memory-array detail

scope server x/y -> scope memory-array x -> show stats history memory-array-env-stats detail

Dall'ambito dell'array di memoria è inoltre possibile accedere a DIMM.

scope server X/Y > scope memory-array Z > scope DIMM N

Da qui è possibile ottenere statistiche per DIMM o reimpostare i contatori di errore.

UCS/chassis/server/memory-array/dimm # reset-errors

UCS /chassis/server/memory-array/dimm* # commit-buffer

UCS /chassis/server/memory-array/dimm # show stats memory-error-state

Se viene visualizzato un errore che corrisponde a queste informazioni, è possibile correggere il problema reimpostando il BMC anziché il server blade.

Utilizzare i seguenti comandi CLI di Cisco UCS Manager:

(il ripristino del BMC non ha alcun impatto sul sistema operativo in esecuzione sul blade).

To reset memory-error counters on a Cisco UCS C-Series Rack Server operating in standalone mode, run the script on the CLI:

UCS-C# scope reset-ecc

UCS-C/reset-ecc # set enabled yes

UCS-C/reset-ecc *# commit

For colusa servers:

UCS# scope chassis

UCS /chassis # scope server x

UCS /chassis/server # reset-ecc

Con UCS release 2.27 e 3.1 e successive, le soglie per gli errori corretti per la memoria sono state rimosse.

Pertanto, i moduli di memoria non vengono più segnalati come  Inoperable  o  Degraded  unicamente a causa di errori di memoria corretti.

Come da white paper https://www.cisco.com/c/dam/en/us/products/collateral/servers-unified-computing/ucs-manager/whitepaper-c11-736116.pdf

Le richieste del settore per una maggiore capacità, una maggiore larghezza di banda e tensioni operative più basse determinano un aumento delle percentuali di errore della memoria.

Tradizionalmente, il settore ha trattato gli errori correggibili allo stesso modo degli errori non correggibili, richiedendo la sostituzione immediata del modulo al momento dell'avviso.

Considerate le numerose ricerche che dimostrano che gli errori correggibili non sono correlati a quelli non correggibili e che gli errori correggibili non compromettono le prestazioni del sistema, il team Cisco UCS consiglia di sostituire immediatamente i moduli con errori correggibili.

I clienti che avvertono di un problema di memoria danneggiata per errori correggibili sono invitati a reimpostare l'errore di memoria e a riprendere l'operazione.

Questa raccomandazione consente di evitare inutili interruzioni del server.

I miglioramenti futuri alla gestione degli errori distinguono tra i vari tipi di errori correggibili e identificano le azioni appropriate, se necessarie.

Come minimo, utilizzare la versione 2.1(3c) o 2.2(1b) che presenta miglioramenti con la gestione degli errori della memoria UCS

File di log da archiviare nel supporto tecnico

UCSM_X_TechSupport > sam_techsupportinfo  fornisce informazioni su DIMM e array di memoria.

Supporto tecnico per chassis/server

CIMCX_TechSupport\tmp\CICMX_TechSupport.txt -> Generic tech support information about sever X.

CIMCX_TechSupport\obfl\obfl-log -> OBFL logs provide an ongoing logs about status and boot of server X.

CIMCX_TechSupport\var\log\sel -> SEL logs for server X.

In base alla versione/piattaforma, passare ai file nel pacchetto di supporto tecnico.

var/nuova/BIOS > RankMarginTest.txt

var/nuova/BIOS > MemoryHob.txt

var/nuova/var/nuova/ BIOS > MrcOut_*.txt

Questi file forniscono informazioni sulla memoria viste a livello di BIOS.

È possibile creare un nuovo riferimento incrociato alle informazioni con le tabelle di report degli stati DIMM.

Esempio:

/var/nuova/BIOS/RankMarginTest.txt

- Utile per la visualizzazione dei risultati del test del BIOS Training test MEMBIST

- Cerca errori

- Verificare se vi sono DIMM mappati

- mostra informazioni specifiche per DIMM (fornitore/velocità/PID)

DIMM |GB|R|MfgDate|Mod ID |DRAM ID   |Reg ID    |CtW Tck CLS Taa V|Freq|Part#

A1 18| 8|2|2009W48|Samsung|Samsung 00|Inphi   03|5550 0C 003C 69 0|1333|M393B1K70BH1-CH9

A2 26| 8|2|2009W48|Samsung|Samsung 00|Inphi   03|5550 0C 003C 69 0|1333|M393B1K70BH1-CH9

B1 01| 8|2|2009W48|Samsung|Samsung 00|Inphi   03|5550 0C 003C 69 0|1333|M393B1K70BH1-CH9

B2 01| 8|2|2009W48|Samsung|Samsung 00|Inphi   03|5550 0C 003C 69 0|1333|M393B1K70BH1-CH9

C1 01| 8|2|2009W48|Samsung|Samsung 00|Inphi   03|5550 0C 003C 69 0|1333|M393B1K70BH1-CH9

C2 01| 8|2|2009W48|Samsung|Samsung 00|Inphi   03|5550 0C 003C 69 0|1333|M393B1K70BH1-CH9

D1 01| 8|2|2009W48|Samsung|Samsung 00|Inphi   03|5550 0C 003C 69 0|1333|M393B1K70BH1-CH9

D2 01| 8|2|2009W48|Samsung|Samsung 00|Inphi   03|5550 0C 003C 69 0|1333|M393B1K70BH1-CH9

E1 01| 8|2|2009W48|Samsung|Samsung 00|Inphi   03|5550 0C 003C 69 0|1333|M393B1K70BH1-CH9

E2 01| 8|2|2009W48|Samsung|Samsung 00|Inphi   03|5550 0C 003C 69 0|1333|M393B1K70BH1-CH9

F1 01| 8|2|2009W48|Samsung|Samsung 00|Inphi   03|5550 0C 003C 69 0|1333|M393B1K70BH1-CH9

F2 01| 8|2|2009W48|Samsung|Samsung 00|Inphi   03|5550 0C 003C 69 0|1333|M393B1K70BH1-CH9

La prima colonna ha due valori:

Localizzatore DIMM (F2)

Stato DIMM (01)

Di seguito è riportata una breve descrizione per ogni stato:

0x00 // Non installato (senza DIMM)

0x01 // Installato (funzionante)

//// 0x02-0F (Riservato)

//// Non riuscito

0x10 // Formazione non riuscita

0x11 // Formazione orologio non riuscita

//// 0x12-17 (Riservato)

0x18 // MemBIST non riuscito

//// 0x19-1F (Riservato)

//// Ignorato

0x20 // Ignorato (disabilitato dalla console di debug)

0x21 // Ignorato (errore SPD segnalato dal BMC)

0x22 // Ignorato (non RDIMM)

0x23 // Ignorato (non ECC)

0x24 // Ignorato (Non-x4)

0x25 // Ignorato (altra PDIMM nello stesso LDIMM non riuscita)

0x26 // Ignorato (altro LDIMM nello stesso canale non riuscito)

0x27 // Ignorato (altro canale in LockStep o Mirror non riuscito)

0x28 // Ignorato (popolamento PDIMM non valido)

0x29 // Ignorato (Organizzazione PDIMM non corrispondente)

0x2A // Ignorato (Mancata corrispondenza fornitore registro PDIMM)

//// 0x2B-7F (Riservato)

var/nuova/BIOS > MemoryHob.txt

mostra la memoria effettiva e guasta installata sul server

+++ BEGINNING OF FILE

Memory Speed     = 1067 MHz

Memory Mode      = 00

RAS Modes        = 03

MRC Flags        = 0000000A

Total Memory     = 98304 MB

Effective Memory = 90112 MB

Failed Memory    = 8192 MB

Ignored Memory   = 0 MB

Redundant Memory = 0 MB

|---------------------------------|

| Memory  | Channel | DIMM Status |

| Channel | Status  |   1    2    |

|---------------------------------|

|   A     |    01   |   01   01   |

|   B     |    01   |   01   01   |

|   C     |    01   |   01   01   |

|   D     |    01   |   01   01   |

|   E     |    01   |   01   01   |

|   F     |    01   |   01   18   |

|---------------------------------|

18h - Lo stato del modulo DIMM viene contrassegnato come non riuscito se non supera il test MemBist.  Sostituire con un DIMM sicuramente funzionante.

Descrizione stato DIMM

00h non installato (senza DIMM)

01h installato (funzionante)

02h-0Fh Riservato

10h non riuscito (formazione)

11h non riuscito (addestramento orologio)

12h-17h Riservato

18h non riuscita (MemBIST)

19h-1Fh Riservato

20h ignorato (disabilitato dalla console di debug)

21h ignorato (errore SPD segnalato dal BMC)

22 ore ignorate (non RDIMM)

23 ore ignorate (non ECC)

24 ore ignorate (non x4)

25 ore ignorate (altro PDIMM nello stesso LDIMM non riuscito)

26 ore ignorate (errore di un altro LDIMM nello stesso canale)

27 ore ignorate (altro canale in LockStep o Mirror)

28h ignorato (popolazione di memoria non valida)

29h Ignorato (mancata corrispondenza organizzazione)

2Ah ignorato (mancata corrispondenza del fornitore del registro)

2Bh- 7Fh Riservato

80 ore ignorate (ciclo della soluzione)

81h ignorato (bus I2C bloccato)

82h - Fh riservato

Blacklist DIMM

Dentro  Cisco UCS Manager , lo stato del  Dual In-line Memory Module  (DIMM) è basato su record di eventi SEL.

Quando il BIOS rileva un errore di memoria non correggibile durante l'esecuzione del test della memoria, il DIMM viene contrassegnato come difettoso.

Un DIMM difettoso è considerato un dispositivo non funzionante.

Se si abilita la blacklist dei DIMM, Cisco UCS Manager monitora i messaggi di esecuzione dei test della memoria ed elenca in blacklist tutti i DIMM che rilevano errori di memoria nei dati SPD dei DIMM.

La Blacklist DIMM è stata introdotta come politica globale opzionale in UCSM 2.2(2).

Il firmware dei server deve essere 2.2(1)+ per i blade serie B e 2.2(3)+ per i server rack serie C per implementare correttamente questa funzione.

In UCSM 2.2(4), DIMM, Blacklisting è abilitato.

Aprire il file del supporto tecnico .../var/log/DimmBL.log

Aprire il file /var/nuova/BIOS/MrcOut.txt, se disponibile

Individuare la tabella di stato DIMM. Cercare "DIMM Status:" (Stato DIMM:)

DIMM in blacklist = 1E

Individuare la tabella di stato DIMM. Cercare "DIMM Status:" (Stato DIMM:)

Stato DIMM:

00 - Non installato

01 - Installato

10 - Operazione non riuscita (errore di training)cancella

1E - Non riuscito (DIMM in blacklist dal BMC)

1F - Operazione non riuscita (errore SPD)

25 - Disabilitato (altra DIMM non riuscita nello stesso canale)

Esempio

Stato DIMM:

|=======================|

Memoria |  | Stato DIMM |

| Canale | 1 2 3  |

|=======================|

| A    | 25 1F 25 |

| B    | 01 01 01 |

| C    | 1F 25 25 |

| D    | 01 01 01 |

| E    | 01 01 01 |

| F    | 25 25 1E |

| G    | 01 01 01 |

| H    | 01 01 01 |

|=======================|

Stato DIMM:

01 - Installato

1E - Non riuscito (DIMM in blacklist dal BMC)

1F - Operazione non riuscita (errore SPD)

25 - Disabilitato (altra DIMM non riuscita nello stesso canale)

Metodi per eliminare gli errori relativi alla blacklist DIMM

GUI UCSM

UCSM CLI

UCS-B/chassis/server # reset-all-memory-errors

Informazioni correlate

- https://www.cisco.com/c/en/us/td/docs/unified_computing/ucs/sw/gui/config/guide/2-2/b_UCSM_GUI_Configuration_Guide_2_2/configuring_server_related_policies.html

- https://www.cisco.com/c/dam/en/us/support/docs/servers-unified-computing/ucs-b-series-blade-servers/CiscoUCSEnhancedMemoryErrorManagementTechNoteFeb42015.pdf

- https://www.cisco.com/c/en/us/support/docs/field-notices/636/fn63651.html

Bug degni di nota

ID bug Cisco CSCug93076 B200M3-DDR Voltage Regulator presenta un rumore eccessivo sotto carico leggero

L'ID bug Cisco CSCup07488 IPMI DIMM fault sensor sta impostando Dimm Degraded (Danneggiato) senza conteggio errori.

ID bug Cisco CSCud22620 Maggiore precisione nell'identificazione dei DIMM danneggiati

L'ID bug Cisco CSCuw4524 C460M4, B260M4 o B460M4 IVB clear CMOS può causare un errore UECC della memoria

Errori Cisco ID bug CSCur19705 ECC/UECC rilevati su B200M3

ID bug Cisco CSCvm88447Manca la documentazione relativa ai passaggi di ripristino ECC per i server Colusa autonomi