内容

概要

背景説明

SSDを交換しない場合の一般的な症状

SSDの現在の状態を確認する方法

予防的なシステムアラート

手動データ分析

スイッチSSDの寿命枯渇につながるトリガー

コード最適化

リロードタイプの動作変更

その他のFAQ

概要

このドキュメントでは、ACIスイッチプラットフォームでのSSDの寿命枯渇の動作について説明します。

APIC（スイッチノードではない）に対してSSD障害が発生した結果、このページにアクセスした場合は、FN64329を参照してください。

このTechNoteでは、APIC SSDの交換手順について説明します。

背景説明

ACIリーフ/スパインノードは、ソリッドステートドライブ(SSD)を使用してストレージとイベントのロギングを行います。すべてのSSDは、ベンダーのタイプに関係なく、メーカーによって定義された特定の属性に基づいて寿命が一定です。たとえば、書き込みと消去の数や、一定期間にドライブに転送されるデータのボリュームなどがあります。リーフ/スパイン型ノードのSSD寿命は、通常の損耗により消耗する可能性があります。SSDが枯渇に近づいているスイッチに対してユーザが適切なアクションを実行しないと、SSDが読み取り専用モードに移行したためにスイッチがクラッシュする可能性があります。このため、特定のノードに対してF3073障害が発生した場合には、SSDの交換に優先順位を付ける必要があります。このようなシナリオでは、SSDは現場交換可能ユニットではないため、スイッチ全体が交換されます。

F3073は2.1(4)、2.2(4)、2.3(1o)、3.1(2m)で実装されました。 それ以降のソフトウェアバージョンには、F3073を起動する機能があります。

注：SSDモニタリング機能を備えていないACIソフトウェアバージョンを実行する場合は、そのようなモニタリングが可能なバージョンにアップグレードすることを強くお勧めします。

SSDを交換しない場合の一般的な症状

1.スイッチのブートに失敗すると、コンソールに次のエラーが表示されます。

/dev/hd-cfg0: ********** WARNING: Filesystem still has errors **********

e2fsck 1.42.1 (17-Feb-2012)

/dev/hd-cfg1: recovering journal

/sbin/e2fsck: unable to set superblock flags on /dev/hd-cfg1

2.システムは、SSDに関連する障害（SSDの寿命使用状況に基づくF3073またはF3074）を後のコードリリース（後述）で予防的に引き起こすことができる

- F3074: fltEqptFlashFlash-minor-alarm (80% lifetime)

- F3073: fltEqptFlashFlash-worn-out    (90% lifetime)

3. SSDの使用率が高い場合は、障害F3525が発生する可能性もあります。この障害は、F3073/F3074と混同されることがよくあります。

# fault.Inst

code : F3525

ack : no

annotation :

cause : equipment-flash-warning

changeSet : deltape (New: 21), peCycles (New: 1678), tbw (New: 32.465179), warning (New: yes)

childAction :

created : 2019-08-05T18:22:01.455-07:00

delegated : no

descr : High SSD usage observed. Please check switch activity and contact Cisco Technical Support about high SSD usage.

dn : topology/pod-1/node-206/sys/ch/supslot-1/sup/flash/fault-F3525

domain : infra

extMngdBy : undefined

highestSeverity : warning

lastTransition : 2019-08-05T18:24:02.029-07:00

lc : raised

modTs : never

occur : 1

origSeverity : warning

prevSeverity : warning

rn : fault-F3525

rule : eqpt-flash-flash-warning-alarm

severity : warning

status :

subject : flash-warning-alarm

type : operational

障害F3525は、P/E（プログラム消去）サイクルが7日間で21以上増加すると発生します。これは、SSDが消耗していることを意味しているわけではありません。単純に、SSDが消耗する原因となる可能性がある大量の原因があるということです。

TACと協力して、この解約の原因を理解し、対処する必要があります。

また、特定のタイプのSSDに対してF3525を起動させるしきい値を変更するポリシーもあります([Access Policies] > [Policies] > [Switch] > [Equipment Flash Config Policies)

SSDの現在の状態を確認する方法

SSDの寿命ステータスを確認するには、次の2つの方法があります。

- 予防的なシステムアラート

- 手動データ分析

予防的なシステムアラート

SSDライフタイムモニタリングがCSCve88634の一部として追加されました 次のバージョンのコード：

- 2.1トレインでは2.1(4)以降

- 2.2トレインでは2.2(4)以降

- 2.3トレインでは2.3(1o)以降

- 3.1(2 m)および今後のすべてのリリース

ドライブがライフタイムの80 %に達するとマイナー障害が発生し、ライフタイムの90 %を超えるとメジャー障害が発生します。

これにより、ネットワークオペレータは、SSDのライフタイムを超過したために障害が発生する前に、任意のスイッチを監視して予防的に交換できます。

- F3074: fltEqptFlashFlash-minor-alarm（80 %ライフタイム）

- F3073: fltEqptFlashFlash消耗（90%ライフタイム）

以前のバージョンのコードでは、スイッチSSDのSSDライフタイムチェックが行われていなかったため、スイッチがSSDの有効期限に近づいても、障害は発生しません。

手動データ分析

SSDの使用ロギングは、3.2(5d) 3.2(6i) 3.2(7f) 4.1(1i)以降で導入されました。

a-leaf101# cat /mnt/pss/ssd_log_amp.log   (Tested on 4.2.3l)

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Mon Dec 16 19:00:01 EST 2019   16531370        0       29398      12350    100             0               122396965772    3825894828           60841125365               16         0.00 %              0               0

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Tue Dec 17 19:00:01 EST 2019   16531725        0       29422      12355    100             0               122447755358    3827482016           60858831240               16         0.00 %          12355      61606629993

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Wed Dec 18 19:00:01 EST 2019   16532222        0       29446      12359    100             0               122495197374    3828964594           60875667807               16         0.00 %          12359      61636366134

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Thu Dec 19 19:00:01 EST 2019   16533056        0       29470      12364    100             0               122542269672    3830435617           60892533342               16         0.00 %          12364      61666601865

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Fri Dec 20 19:00:01 EST 2019   16534010        0       29494      12367    100             0               122587126224    3831837398           60908759296               16         0.00 %          12367      61694592882

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sat Dec 21 19:00:01 EST 2019   16535311        0       29518      12372    100             0               122631804318    3833233605           60925205662               16         0.00 %          12372      61723045022

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sun Dec 22 19:00:01 EST 2019   16536727        0       29542      12376    100             0               122676829388    3834640654           60941741722               16         0.00 %          12376      61751623726

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Mon Dec 23 19:00:01 EST 2019   16538321        0       29566      12380    100             0               122722137414    3836056544           60958504969               16         0.00 %          12380      61780395692

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Tue Dec 24 19:00:01 EST 2019   16539858        0       29591      12384    100             0               122767087802    3837461258           60975050343               16         0.00 %          12384      61808582833

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Wed Dec 25 19:00:01 EST 2019   16541121        0       29615      12388    100             0               122812238580    3838872234           60991578411               16         0.00 %          12388      61837188237

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Thu Dec 26 19:00:01 EST 2019   16542653        0       29639      12393    100             0               122857007868    3840271286           61008101155               16         0.00 %          12393      61865429457

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Fri Dec 27 19:00:01 EST 2019   16544352        0       29663      12397    100             0               122901807026    3841671272           61024757511               16         0.00 %          12397      61893705871

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sat Dec 28 19:00:01 EST 2019   16546213        0       29687      12401    100             0               122946927200    3843081289           61041459287               16         0.00 %          12401      61922169689

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Sun Dec 29 19:00:01 EST 2019   16549522        0       29711      12405    100             0               122991584018    3844476827           61058889999               16         0.00 %          12405      61950124731

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Mon Dec 30 19:00:01 EST 2019   16551885        0       29735      12410    100             0               123036252528    3845872732           61075846564               16         0.00 %          12410      61977362529

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Tue Dec 31 19:00:01 EST 2019   16553858        0       29759      12414    100             0               123098133082    3847806568           61093085451               16         0.00 %          12414      62022286518

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Wed Jan  1 19:00:01 EST 2020   16555127        0       29783      12418    100             0               123142018610    3849178024           61109758713               16         0.00 %          12418      62048933159

Model                     SerialNo        Software-Version               Date                           RawReadError(1) GBB(5)  UpTime(9)  PE(173)  LifeTime(202)   Attribute(210)  TBW(246)        HostPageCount(247)   BackgroundPageCount(248)  WAF        Delta_WAF    Delta_PE   Delta_TBW

Micron_M600_MTFDDAT064MBF MSA195207V1                                    Thu Jan  2 19:00:01 EST 2020   16556532        0       29808      12422    100             0               123186637556    3850572390           61126687626               16         0.00 %          12422      62076878843

Model                          SerialNo        SW-Version      Date         R.Error(1) GBB(5)     UpTime(9)  PE(173)  LifeTime(202)   Attr(210)  TBW(246)     WAF    DWAF       DPE      DTBW

Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-03   16557977   0          29832      12428    100             0          123278298184 16     0.00 %      0        0

Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-04   16558440   0          29856      12433    100             0          123323818606 16     0.00 %      5        45520422

Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-05   16559031   0          29880      12438    100             0          123369348610 16     0.00 %      5        45530004

Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-06   16561567   0          29904      12443    100             0          123415316270 16     0.00 %      5        45967660

Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-07   16564701   0          29928      12448    100             0          123460483898 16     0.00 %      5        45167628

Micron_M600_MTFDDAT064MBF      MSA195207V1     14.2(3l)        2020-01-08   16565955   0          29952      12453    100             0          123505550532 16     0.00 %      5        45066634

ssd_log_amp.logファイルは、1of3スイッチのテクニカルサポートにあります

追加の製造業者関連コマンド出力には、TACサービスリクエストを必要とするrootユーザの権限が必要です。

スイッチSSDの寿命枯渇につながるトリガー

- サービスアビリティを確保し、イベントの根本原因をイベントの発生後ずっと提供できるようにするため、ACI APICおよびスイッチは、SSDに永続的な各コンポーネントに対して冗長ロギングを備えています。

- 上記のロギング機能では、大量のディスク書き込みと上書きが必要です。この処理を実行するディスクの機能は無限ではないので、ドライブに関連するライフタイムがあります。  ネットワークの不安定性（大量の移動やポリシーの更新など）が長期にわたって続くと、スイッチのSSDが早期に枯渇する可能性があります。

- ディスクに書き込まれるデータの量を減らしながら、書き込みを最適化し、サービサビリティを維持するための多くの機能拡張が行われています。これらの変更は、異なるバージョンで導入されました。「コード最適化」セクションを参照してください。

- 下記の機能拡張が組み込まれたバージョンでは、毎日2/3 P/Eサイクルのような高速なSSD消費が続く場合、ほとんどのログがRAMFSに書き込まれるため、ログはZIP後にのみSSDに移動されます。

コード最適化

ディスクに書き込まれるデータの量を減らしながら、書き込みを最適化してサービサビリティを維持するための多くの機能拡張が行われています。これらの変更は、異なるバージョンで導入されました。

CSCve88634 SSDがライフタイムを超えたときに障害を発生させる。

・ 2.1(4)、2.2(4)、2.3(1o)、3.1(2m)に追加

CSCvi32353 F3073 Revision to SSD lifetime exceeded detection logic

CSCvh73803 tmp_logsのramfsパーティションを作成し、SSDへのロギングの影響を軽減

CSCvm97108 SSDオーバープロビジョニングの変更を追跡するバグ

CSCvt36458:Removed SQL DB persistent Layer for switches.

・ 4.2(6d)および5.1(1h)に追加

3.2.4d以降、4.x以降には、SSDの寿命を延ばすために必要な障害モニタリングおよび最適化の拡張機能がすべて備わっています。もちろん、これらのリリースにアップグレードしても、SSDの寿命問題が確実に防止されるわけではありません。

リロードタイプの動作変更

CSCvt36458は、ACIスイッチノードの予期される動作を正常なリロードから変更しました。

リロードタイプ

CSCvt36458より前

CSCvt36458以降   [4.2(6d)+および5.1(1h)+]

アップグレード

ステートレス

ステートレス

グレースフルリロード（手動リロード、ハップリセット）

ステートフル

ステートフル

グレースフルリロード（カーネルパニック、電源の再投入）

ステートフル

ステートレス

要約すると、グレースフルスイッチのリロードでは、引き続きDBが使用されます。アップグレードと同様に、すべてのポリシーをAPICから取得する必要がある状態のスイッチの無グレースフルリロード。

その他のFAQ

SSDは現場で交換できますか。

いいえ。SSDは現場交換可能ユニットではありません。障害がリーフに発生すると、シャーシ全体がRMA状態になります。モジュラスパインでは、スーパーバイザのRMAを行う必要があります。

スイッチハードウェアをプロアクティブに交換する必要がありますか。

TACエンジニアは、smartctlの値を確認し、よりライフタイムの長いスイッチを評価して、最も緊急のスイッチに対して即座に交換を行い、緊急の必要のないスイッチを徐々に交換するように移行できます。

SSD障害の影響を受けやすい特定のハードウェアPIDはありますか。

いいえ。SSDの寿命は、同じ環境の異なるデバイスによって異なる場合があります。SSDディスクの使用状況は、デバイスがイベントを保持するためにログを書き込む必要がある頻度によって異なります。ネットワークの不安定性によって発生する多数のイベントを登録するデバイスは、他のデバイスよりも早くSSDの寿命に達する可能性があります。そのため、コード最適化がSSDの書き込みの制御に役立ち、SSDの寿命を延ばすために、以降のリリースを使用する必要があるとシスコは主張しています。