Sommario

Introduzione

Sfondo

Problema

Analisi

Soluzione

Introduzione

Questo documento descrive il problema completo rilevato dal disco di esportazione dei nodi nella rete di un utente.

Sfondo

Quando viene eseguito un controllo di Cluster Manager Common Execution Environment (CEE), il risultato del controllo indica che il disco di esportazione dei nodi è pieno.

Problema

Esiste una condizione di avviso di severità critica perché si prevede che si verifichi una condizione di disco pieno nelle prossime 24 ore. Questo avviso è stato rilevato su CEE:

" Si prevede che il dispositivo /dev/sda3 di node-export cee03/node-EXPORT-4dd4a4dd4a sia pieno entro le prossime 24 ore"

Analisi

L'avviso viene visualizzato sul CEE che tiene traccia dei problemi hardware per il rack e prevede che la condizione completa del disco si verifichi nelle prossime 24 ore.

cisco@deployer-cm-primary:~$ kubectl get pods -A -o wide | grep node

cee03 node-exporter-4dd4a4dd4a 1/1 Running 1 111d 10.10.1.1 deployer-cm-primary <none> <none>

root@deployer-cm-primary:/# df -h

Filesystem Size Used Avail Use% Mounted on

overlay 568G 171G 368G 32% /

tmpfs 64M 0 64M 0% /dev

tmpfs 189G 0 189G 0% /sys/fs/cgroup

tmpfs 189G 0 189G 0% /host/sys/fs/cgroup

/dev/sda1 9.8G 3.5G 5.9G 37% /host/root

udev 189G 0 189G 0% /host/root/dev

tmpfs 189G 0 189G 0% /host/root/dev/shm

tmpfs 38G 15M 38G 1% /host/root/run

tmpfs 5.0M 0 5.0M 0% /host/root/run/lock

/dev/sda3 71G 67G 435M 100% /host/root/var/log

Quando viene eseguito un controllo, il disco /dev/sda3 viene riempito.

root@deployer-cm-primary:/host/root/var/log# du -h --max-depth=1

76M ./sysstat

16K ./lost+found

4.0K ./containers

4.0K ./landscape

9.3M ./calico

1.1G ./apiserver

808K ./pods

5.6G ./journal

60G ./audit

36K ./apt

67G .

Una verifica del controllo mostra che i registri vengono conservati e, di conseguenza, è probabile che si verifichi la condizione server del disco del nodo di esportazione pieno.

cisco@deployer-cm-primary:~$ sudo cat /etc/audit/auditd.conf

#

# This file controls the configuration of the audit daemon

#

local_events = yes

write_logs = yes

log_file = /var/log/audit/audit.log

log_group = adm

log_format = RAW

flush = INCREMENTAL_ASYNC

freq = 50

max_log_file = 8

num_logs = 5

priority_boost = 4

disp_qos = lossy

dispatcher = /sbin/audispd

name_format = NONE

##name = mydomain

max_log_file_action = keep_logs

space_left = 75

space_left_action = email

verify_email = yes

action_mail_acct = root

admin_space_left = 50

admin_space_left_action = halt

disk_full_action = SUSPEND

disk_error_action = SUSPEND

use_libwrap = yes

##tcp_listen_port = 60

tcp_listen_queue = 5

tcp_max_per_addr = 1

##tcp_client_ports = 1024-65535

tcp_client_max_idle = 0

enable_krb5 = no

krb5_principal = auditd

##krb5_key_file = /etc/audit/audit.key

distribute_network = no

cisco@deployer-cm-primary:~$

Soluzione

Eseguire il codice di comando riportato di seguito, sia sul database deployer-cm-primary che su quello deployer-cm-secondari, per risolvere la potenziale condizione di disco pieno del database di esportazione dei nodi.

sudo vim /etc/audit/auditd.conf

Quindi, utilizzare il codice elencato di seguito per modificare il file interno da keep_logs a rotate.

max_log_file_action = rotate

Dopo aver modificato il codice, riavviare il servizio.

sudo systemctl restart auditd.service

Verificare che l'avviso critico sia stato rimosso.