Atualizar o SSO HA do Catalyst 9800 WLC usando ISSU

Introdução

Este documento descreve como atualizar um par de controladores sem fio 9800 em HA SSO usando o método ISSU (In-Service Software Upgrade).

Requisitos

O documento aborda o procedimento, a limitação, as precauções a serem tomadas e as instruções de atualização.

A Cisco recomenda que você tenha conhecimento destes tópicos:

• Controlador de LAN sem fio (WLC) Catalyst 9800
• Alta disponibilidade Stateful Switchover (HA SSO)

Componentes Utilizados

Este documento não se restringe a versões de software e hardware específicas.

As informações neste documento foram criadas a partir de dispositivos em um ambiente de laboratório específico. Todos os dispositivos usados neste documento começaram com uma configuração limpa (padrão). Se a rede estiver ativa, certifique-se de que você entenda o impacto potencial de qualquer comando.

Como o ISSU funciona

O ISSU é um recurso que permite atualizar os controladores sem fio 9800 com tempo de inatividade mínimo. Se você tiver cobertura suficiente, a atualização será contínua e os clientes sem fio não deverão observar nenhum tempo de inatividade. Para tornar isso possível, o ISSU tem um mecanismo que atualiza um controlador por vez e permite que os APs atualizem de maneira escalonada.

Aqui está uma breve visão geral das diferentes etapas que ocorrem durante uma atualização do ISSU:

1. A imagem de destino (V2) é transferida por download para o controlador primário que executa o V1 e expandida em pacotes. 
2. A imagem é então sincronizada com o controlador em espera ativa através da conexão RP. Esse processo é o mesmo para todos os tipos de atualização
3. A imagem do AP correspondente (V2) é pré-baixada para os APs. O pré-download de uma imagem não afeta o serviço.
4. A controladora em standby é recarregada e carregada com a nova imagem (V2). Nesse ponto, o controlador ativo executa V1 e o standby executa V2 e eles formam um par SSO. Isso só é possível durante a atualização do ISSU.
5. Quando o par HA estiver pronto (estado ativo/standby-hot), um switchover será executado. O controlador ativo agora está executando V2 e o standby está executando V1. O controlador em standby é recarregado e vem com V2. Neste estágio, ambos os controladores estão em V2, mas os APs ainda estão executando V1.
6. Os APs são solicitados a comutar imagens para V2 após a etapa de ativação e são atualizados de forma contínua para minimizar o tempo de inatividade. Isso significa que os subgrupos de APs são recarregados por ciclo e os clientes podem se conectar aos APs vizinhos. Quando os APs reingressam, eles reingressam com V2.
7. A etapa final é confirmar, o que torna as alterações permanentes.

Limitações

Estas são as limitações que você precisa saber antes de continuar com uma atualização ISSU:

• A imagem base deve ser o Cisco IOS XE 17.3 ou superior
• O ISSU está disponível apenas entre as principais versões dentro do mesmo trem. Por exemplo, 16.x.x para 17.x.x ou 17.x.x para o próximo trem principal não é suportado
• O downgrade de ISSU não é suportado nas plataformas do Cisco Catalyst 9800 Series Wireless Controller
• A atualização do ISSU é suportada para a controladora somente no modo de INSTALAÇÃO (modo de PACOTE não suportado)
• uma atualização de ISSU leva mais tempo do que uma atualização padrão por projeto, pois uma WLC atualiza a si mesma no par HA em um determinado momento e, em seguida, atualiza o AP de uma maneira de atualização para minimizar o tempo de inatividade. Se você tiver APs atrás de um link WAN com alguma latência, é importante minimizar o tempo de download da imagem do AP, pois isso pode aumentar drasticamente o tempo de atualização do ISSU através do efeito em cascata. Procure métodos de atualização de AP eficientes ou de HTTPS fora da banda para acelerar o tempo de download da imagem do AP e manter o tempo total de ISSU no mínimo.

Requisitos e verificações

Antes de prosseguir com a atualização dos controladores sem fio 9800 usando o ISSU, há alguns requisitos e verificações a serem feitos para garantir uma atualização tranquila dos controladores e dos pontos de acesso.

Etapa 1: Verifique se não há nenhuma versão ativa ou não confirmada em execução

Comando CLI: 

show install summary

Saída esperada: 

Você vê apenas uma versão no estado "C" (para Ativado e Confirmado): 

WLC#show install summary
[ Chassis 1/R0 2/R0 ] Installed Package(s) Information:
State (St): I - Inactive, U - Activated & Uncommitted,
            C - Activated & Committed, D - Deactivated & Uncommitted
--------------------------------------------------------------------------------
Type  St   Filename/Version
--------------------------------------------------------------------------------
IMG   C    17.09.04a.0.6

Etapa 2: Verifique se a controladora está no modo INSTALL

Verifique se os controladores Ativo e Standby estão no modo de instalação e são inicializados a partir do "bootflash:/packages.conf" (consulte a etapa 3).

Comando CLI: 

show version | i Installation mode

Saída esperada: 

WLC#show version | i Installation mode
Installation mode is INSTALL

Etapa 3: Verifique o arquivo usado para inicialização ("packages.conf")

Se a controladora estiver no modo INSTALL, ela deverá ser inicializada a partir do arquivo "packages.conf".

Comando CLI: 

show boot

Saída esperada: 

WLC#show boot
BOOT variable = bootflash:packages.conf,12;
CONFIG_FILE variable =
BOOTLDR variable does not exist
Configuration register is 0x102

Standby BOOT variable = bootflash:packages.conf,12;
Standby CONFIG_FILE variable =
Standby BOOTLDR variable does not exist
Standby Configuration register is 0x102

Etapa 4: Verificar estados de redundância

O controlador ativo deve estar em ATIVO e o controlador em standby deve estar em STANDBY-HOT estado, significando que a comunicação está UP e que eles estão se comunicando um com o outro.

Comando CLI: 

show chassis rmi
show redundancy

Saída esperada: 

WLC#show chassis rmi
Chassis/Stack Mac Address : 000c.29c4.caff - Local Mac Address
Mac persistency wait time: Indefinite
                                             H/W   Current
Chassis#   Role    Mac Address     Priority Version  State                 IP                RMI-IP
--------------------------------------------------------------------------------------------------------
*1       Active   000c.29c4.caff     2      V02     Ready                169.254.10.9       198.19.10.9
 2       Standby  000c.29d2.4018     1      V02     Ready                169.254.10.10      198.19.10.10

WLC#show redundancy
Redundant System Information :
------------------------------
...
                 Hardware Mode = Duplex
    Configured Redundancy Mode = sso
     Operating Redundancy Mode = sso
              Maintenance Mode = Disabled
                Communications = Up

Current Processor Information :
-------------------------------
               Active Location = slot 1
        Current Software state = ACTIVE
...

Peer Processor Information :
----------------------------
              Standby Location = slot 2
        Current Software state = STANDBY HOT
...

Etapa 5: Verifique se há espaço suficiente no flash de inicialização para armazenar a nova imagem

A *.bin o tamanho da imagem é de cerca de 1GB. Verifique se há vários GB de espaço livre no flash de inicialização antes de continuar.

Comando CLI: 

dir bootflash:/ | in free

Saída esperada: 

WLC#dir bootflash:/ | in free
14785671168 bytes total (11446026240 bytes free)

Etapa 6: Verifique se não há outro upgrade em andamento

Essa é uma etapa crucial, pois se o controlador ficar preso em uma atualização anterior, a nova atualização falhará.

Comando CLI:

show issu state detail

Saída esperada:

WLC#show issu state detail
Current ISSU Status: Enabled
Previous ISSU Operation: N/A
=======================================================
System Check                        Status
-------------------------------------------------------
Platform ISSU Support               Yes
Standby Online                      Yes
Autoboot Enabled                    Yes
SSO Mode                            Yes
Install Boot                        Yes
Valid Boot Media                    Yes
Operational Mode                    HA-REMOTE
=======================================================
No ISSU operation is in progress

Procedimento de atualização

Depois que todas as verificações forem aprovadas, podemos prosseguir para a atualização dos controladores sem fio. Você pode optar por atualizar os controladores usando a GUI ou a CLI. Há vantagens/desvantagens em ambos os métodos. A CLI oferece mais controle, já que você pode iniciar cada etapa individualmente, mas isso requer um pouco mais de trabalho do que atualizar através da GUI. A atualização do controlador através da GUI pode ser feita com um único pressionamento de botão e todas as etapas são feitas automaticamente. No entanto, se algo falhar durante a atualização, você precisará ir para a CLI para reiniciar a etapa específica que falhou. Este guia mostra apenas o procedimento de atualização da CLI, pois o procedimento da GUI pode ser feito simplesmente executando as instruções da GUI.

Fluxo de trabalho do ISSU CLI

Esta seção mostra um breve resumo dos comandos executados para fazer o upgrade dos controladores. Uma explicação completa de cada comando e de todas as etapas é fornecida:

Comando	Descrição
install add file <file>	A imagem transferida do CCO para o flash de inicialização é carregada no controlador e expandida em pacotes
pré-download da imagem do ap	As imagens do AP correspondentes à imagem v2 são pré-baixadas para os APs
install ativate issu [temporizador de interrupção automática <30-1200>]	Orquestração ISSU de um recarregamento de WLC seguido pelo outro. O acionador de ativação é redefinido pelo AP de forma escalonada com uma tentativa de melhor esforço para manter a conectividade para os clientes
install commit	A confirmação torna as alterações permanentes

Procedimento completo

Etapa 1: Limpar estatísticas de pré-download de AP

É melhor limpar essas estatísticas antes da atualização para que você possa obter uma nova saída relacionada apenas à atualização atual. Não deve haver nenhum pré-download em andamento antes de iniciar a atualização.

Comando CLI:

clear ap predownload statistics
show ap image

Saída esperada:

WLC#show ap image
Total number of APs  : 2
Number of APs
        Initiated                  : 0
        Downloading                : 0
        Predownloading             : 0
        ...
        Predownload in progress    : No

Etapa 2: Remover a imagem de software anterior
Caso não haja espaço suficiente no flash de inicialização, você sempre pode considerar limpar os arquivos de instalação antigos usando o comando install remove inative.

Comando CLI:

install remove inactive

Etapa 3: Configurar o valor da porcentagem de atualização deslocável do AP

Você pode definir esse valor para até 25% (valor máximo). Observe que, se você escolher 5% (valor mínimo), menos APs serão atualizados por iteração e a atualização levará mais tempo, mas isso também ajuda a reduzir o tempo de inatividade global. Escolha esse valor de acordo com sua implantação e sua cobertura de AP.

Comando CLI:

conf t
ap upgrade staggered {5 | 15 | 25 | one-shot}
end
write memory

Etapa 4: Fazer download da imagem .bin no controlador

Você pode fazer upload dessa imagem via CLI ou via GUI. Com a GUI, isso é feito quando você inicia o processo de atualização. 

Comando CLI:

dir bootflash:*.bin
[OPTIONAL] copy ftp://
    
    
      : 
     
       @ 
      
        / 
       
         bootflash: 
        
       
      
    

Etapa 5: Instalar a imagem

Esta etapa inicia a primeira fase da atualização. A imagem do software do controlador é adicionada à memória flash e expandida em pacotes. Isso deve levar alguns minutos. Quando o processo de adição da instalação estiver concluído, verifique se a nova imagem está "Inativa" no comando "show install summary".

Comando CLI:

install add file bootflash:
    
    
      show install summary 
    

Saída esperada:

WLC#show install summary
[ Chassis 1/R0 2/R0 ] Installed Package(s) Information:
State (St): I - Inactive, U - Activated & Uncommitted,
            C - Activated & Committed, D - Deactivated & Uncommitted
--------------------------------------------------------------------------------
Type  St   Filename/Version
--------------------------------------------------------------------------------
IMG   C    17.09.04a.0.6
IMG   I    17.12.02.0.2739

Etapa 6: Faça o pré-download da imagem para os APs

Antes de ativar a imagem, precisamos instruir os APs a fazer o pré-download da imagem que está atualmente inativa (V2). Se o pré-download não for iniciado, o upgrade do ISSU falhará, pois essa é uma etapa necessária para minimizar o tempo de inatividade. Essa operação pode levar vários minutos, dependendo do número de APs que estão unidos à controladora e da latência do link.

Comando CLI:

ap image predownload
show ap image

Saída esperada:

WLC#show ap image
Total number of APs  : 2

Number of APs
        Initiated                  : 0
        Downloading                : 0
        Predownloading             : 2
        Completed downloading      : 0
        Completed predownloading   : 0
        Not Supported              : 0
        Failed to Predownload      : 0
        Predownload in progress    : Yes

Etapa 7: Ativar a nova imagem

Quando o pré-download estiver concluído, você poderá ativar a nova imagem. Essa é a etapa mais longa do processo de atualização. Ele executa verificações de compatibilidade, instala o pacote e atualiza os detalhes de status do pacote. Opcionalmente, você pode configurar o limite de tempo para cancelar a adição do novo software sem confirmar a imagem. Os valores válidos vão de 30 a 1200 minutos. O valor padrão é 360 minutos (6 horas). Depois que você inicia a atualização, todo o processo do ISSU ocorre: atualizações em espera, switchover, depois novas atualizações em espera e, em seguida, a atualização escalonada do AP.

Comando CLI:

install activate issu [auto-abort-timer <30-1200 mins>]

Saída esperada:

WLC#install activate issu
install_activate: START Sun Jan 14 08:29:36 EST 2024
install_activate: Activating ISSU

NOTE: Going to start Activate ISSU install process

STAGE 0: System Level Sanity Check
===================================================
--- Verifying install_issu supported ---
--- Verifying standby is in Standby Hot state ---
--- Verifying booted from the valid media ---
--- Verifying AutoBoot mode is enabled ---
--- Verifying Platform specific ISSU admission criteria ---
--- Verifying Image ISSU Compatibility ---
Finished Initial System Level Sanity Check

STAGE 1: Installing software on Standby
===================================================
--- Starting install_remote ---
[2] install_remote package(s) on chassis 2/R0
WARNING: Found 1545 disjoint TDL objects.
[2] Finished install_remote on chassis 2/R0
install_remote: Passed on [2/R0]
Finished install_remote

STAGE 2: Restarting Standby
===================================================
--- Starting standby reload ---
Finished standby reload

--- Starting wait for Standby to reach terminal redundancy state ---
Finished wait for Standby to reach terminal redundancy state

STAGE 3: Installing software on Active
===================================================
--- Starting install_active ---
WARNING: Found 2969 disjoint TDL objects.
[1] install_active package(s) on chassis 1/R0
[1] Finished install_active on chassis 1/R0 install_active: Passed on [1/R0]
Finished install_active

STAGE 4: Restarting Active (switchover to standby) 
=================================================== 
--- Starting active reload ---
New software will load after reboot process is completed

É uma boa ideia monitorar o status atual da atualização usando os comandos "show chassis rmi" e "show redundancy" periodicamente. Isso mostra uma vez que um controlador é removido do par HA e quando ele volta, e em que versão. Observe que o processo pode levar de 20 a 30 minutos. 

Quando a atualização estiver concluída, você verá a imagem como ativa, mas "não confirmada": 

WLC#show install summary
[ Chassis 1/R0 2/R0 ] Installed Package(s) Information:
State (St): I - Inactive, U - Activated & Uncommitted,
            C - Activated & Committed, D - Deactivated & Uncommitted
--------------------------------------------------------------------------------
Type  St   Filename/Version
--------------------------------------------------------------------------------
IMG   U    17.12.02.0.2739

--------------------------------------------------------------------------------
Auto abort timer: active , time before rollback - 05:23:37
--------------------------------------------------------------------------------

Uma vez concluída a instalação, a WLC começará a recarregar os APs de maneira escalonada. Para monitorar a atualização de AP escalonado, você pode usar a GUI (em "AP Upgrade Statistics" na seção "Software Upgrade") ou o comando CLI "show ap uptime", que mostrará o tempo de atividade CAPWAP dos APs. Isso fornece uma indicação de quais APs já foram recarregados. Você também pode verificar se a atualização do AP terminou, verificando os registros, usando o comando "show logging" no controlador:

Jan 20 14:23:22.478: %UPGRADE-6-STAGGERED_UPGRADE_COMPLETE: Chassis 2 R0/0: wncmgrd: Staggered AP Upgrade completed succesfully

Etapa 8: [OPCIONAL] Interrompa o temporizador de "anulação automática"

Caso você precise de mais tempo do que as 6 horas padrão para a atualização (quando você tem muitos APs para atualizar e quer ter certeza de que está funcionando bem antes de confirmar a imagem), você pode parar este temporizador. Dessa forma, a reversão automática não ocorrerá.

Comando CLI:

install auto-abort-timer stop

Etapa 9: Tornar o novo software persistente

Confirme as alterações de ativação para que sejam persistentes nas recargas usando o comando install commit. Esta é a etapa final em um processo de atualização normal. O comando install commit torna o software persistente nas reinicializações.

Comando CLI:

install commit

Saída esperada:

WLC#show install summary
[ Chassis 1/R0 2/R0 ] Installed Package(s) Information:
State (St): I - Inactive, U - Activated & Uncommitted,
            C - Activated & Committed, D - Deactivated & Uncommitted
--------------------------------------------------------------------------------
Type  St   Filename/Version
--------------------------------------------------------------------------------
IMG   C    17.12.02.0.2739

Quando a versão for confirmada e os APs forem recarregados na nova versão, a atualização do ISSU será concluída.

Operações adicionais

Você pode encontrar outras operações que talvez precise fazer durante ou após a atualização do ISSU, como anular a atualização ou reverter para uma versão anterior:

Abortar ISSU 

Esta etapa cancela o processo de atualização feito até agora e retorna o dispositivo ao estado de instalação anterior (V1)no modo ISSU. Isso se aplica a controladoras e APs. Isso pode ser feito no caso de você notar um impacto grave devido à atualização e se você ainda não confirmou a imagem. Esse comando e processo só funcionarão se a "confirmação de instalação" ainda não tiver sido emitida. Depois que a imagem tiver sido confirmada, não será possível reverter no modo ISSU.

Comando CLI:

install abort issu

Saída esperada:

STAGE 1: Rolling Back software on Standby
===================================================
--Starting Deactivation at the standby --
--- Starting abort_standby ---
[1] abort_standby package(s) on chassis 1/R0
WARNING: Found 1545 disjoint TDL objects.

[1] Finished abort_standby on chassis 1/R0
abort_standby: Passed on [1/R0]
Finished abort_standby

STAGE 2: Restarting Standby
===================================================
--- Starting standby reload ---
Finished standby reload

--- Starting wait for Standby to reach terminal redundancy state ---
Finished wait for Standby to reach terminal redundancy state

STAGE 3: Rolling Back software on Active
===================================================
--Starting Deactivation at the active --
--- Starting abort_active ---
WARNING: Found 1545 disjoint TDL objects.
[2] abort_active package(s) on chassis 2/R0
[2] Finished abort_active on chassis 2/R0
abort_active: Passed on [2/R0]
Finished abort_active

STAGE 4: Restarting Active (switchover to standby)
===================================================
--- Starting active reload ---
New software will load after reboot process is completed
SUCCESS: install_abort  Wed Jan 17 21:58:52 CET 2024
client_loop: send disconnect: Broken pipe

Mudança para o controlador "principal"

Em um ambiente de produção, essa etapa pode ser desejada se você quiser que o controlador original esteja ativo novamente. Lembre-se de que, uma vez concluída a atualização do ISSU, a unidade "secundária" será a controladora ativa. Você sempre pode retornar ao estado original executando um switchover manual. Você precisa certificar-se de que a unidade peer esteja no estado "Standby Hot" (Em espera) antes de continuar.

Comando CLI:

redundancy force-switchover

Reverter para o estado anterior depois que a atualização do ISSU for concluída

Depois que a atualização for confirmada, o downgrade do ISSU não será suportado nas plataformas do Cisco Catalyst 9800 Series Wireless Controller. Neste ponto, uma reversão significará que os controladores sem fio e os APs serão recarregados devido à alteração de código e isso criará um tempo de inatividade. Você pode começar verificando os pontos de reversão disponíveis e decidir a qual deles reverter. 

Comando CLI:

show install rollback
show install rollback id 
    
    
      install rollback to id 
      
    

Saída esperada:

WLC#sh install rollback
ID      Label                            Description
-------------------------------------------------------
3       No Label                         No Description
2       No Label                         No Description
1       No Label                         No Description

WLC#sh install rollback id 2
Rollback id - 2 (Created on 2024-04-22 10:31:57.000000000 +0000)
Label: No Label
Description: No Description
Reload required: NO
State (St): I - Inactive, U - Activated & Uncommitted,
            C - Activated & Committed, D - Deactivated & Uncommitted
--------------------------------------------------------------------------------
Type  St   Filename/Version
--------------------------------------------------------------------------------
IMG   C    17.09.04a.0.6

WLC#install rollback to id 2
install_rollback: START Thu May 30 09:44:38 UTC 2024
install_rollback: Rolling back to id 2

This operation may require a reload of the system. Do you want to proceed? [y/n]y

--- Starting Rollback ---
Performing Rollback on all members
 [2] Rollback package(s) on Chassis 2/R0
 [1] Rollback package(s) on Chassis 1/R0
 [2] Finished Rollback package(s) on Chassis 2/R0
Checking status of Rollback on [1/R0 2/R0]
Rollback: Passed on [1/R0 2/R0]
Finished Rollback operation

SUCCESS: install_rollback Thu May 30 09:45:40 UTC 2024

Troubleshooting

Caso você esteja enfrentando um problema antes, durante ou depois da atualização dos controladores sem fio 9800 usando o ISSU, recomendamos que você examine este documento que explica os problemas comuns encontrados e suas soluções.

Referências

• Alta disponibilidade usando atualização de patch e de AP móvel nos Cisco Catalyst 9800 Wireless Controllers
• Guia de configuração 17.12.X