DE
O que é teste canário?
Teste canário é uma técnica na qual um pequeno subconjunto de usuários ou sistemas é exposto a uma nova versão do software, enquanto o restante deles continua usando a versão anterior. Isso permite fazer testes em um ambiente semelhante ao de produção, minimizando o impacto no sistema geral em caso de problemas com a nova versão.
O nome “canário” é inspirado nas aves que eram levadas para as minas de carvão para detectar níveis perigosos de gases. Elas morriam antes que os mineiros fossem afetados, servindo como um tipo de sistema de alerta.
Teste canário, teste A/B e feature flags
Embora os três métodos possam ser usados em conjunto para atingir o objetivo semelhante de testar um novo sistema ou alterações em um ambiente, eles têm algumas distinções importantes:
| Teste canário | Teste A/B | Feature flags |
| Foco em testar novos softwares ou mudanças em um ambiente isolado e controlado antes de lançá-los para toda a base de usuários. | Foco em comparar o desempenho de duas versões de um produto ou funcionalidade. | Foco em controlar a exposição de novas funcionalidades a diferentes usuários ou grupos de usuários. |
Benefícios do teste canário
De forma geral, testes reduzem o número de problemas que afetam os usuários finais. O teste canário costuma produzir softwares que economizam tempo e esforço em todos os níveis do ciclo de vida de desenvolvimento. Além disso, ele melhora a imagem e a reputação das empresas. As iniciativas de vendas não são prejudicadas, pois há uma diminuição na quantidade de problemas que afetam e irritam os usuários. Além disso, essa abordagem mantém os programadores satisfeitos. Estes são os principais benefícios do teste canário:
Minimização de riscos
Ao lançar uma nova versão do software ou alteração e disponibilizá-la para um subconjunto de usuários ou sistemas, o teste canário permite fazer um experimento em um ambiente semelhante ao de produção, minimizando o impacto exercido sobre o sistema geral em caso de problemas com a nova versão.
Detecção precoce de problemas
O teste canário promove a descoberta precoce de problemas ou falhas, possibilitando que eles sejam corrigidos antes de afetar toda a base de usuários. Isso é feito por meio do monitoramento do desempenho da nova versão junto a um pequeno grupo de usuários ou sistemas.
Implementação mais rápida
Ao lançar novas versões de software ou alterações e disponibilizá-las para um pequeno subconjunto de usuários ou sistemas, o teste canário agiliza a implementação de novos recursos e atualizações.
Tempo de inatividade mínimo
O teste canário ajuda a reduzir o tempo de inatividade ao identificar e corrigir problemas antes que eles afetem toda a base de usuários.
Engajamento e feedback do usuário
O teste canário fornece o feedback inicial do usuário em um ambiente semelhante ao de produção, o que pode ser usado para melhorar a qualidade geral do produto.
Redução de custos
A detecção e a correção antecipada dos problemas por meio do teste canário ajudam a reduzir os custos de resolução de problemas que podem surgir em um ambiente de produção.
Fases do teste canário
A execução do teste canário pode ser dividida nas seguintes fases:
Planejamento
A fase primária do teste canário envolve a definição de:
- Metas e objetivos
- Grupo de usuários
- Ambiente de teste
- Tempo necessário
- Métricas de desempenho
- Critérios de avaliação
Implementação
Nesta fase, a nova versão do software ou a alteração é direcionada ao grupo de usuários selecionado.
Monitoramento
Durante esta fase, a eficácia da versão atualizada é cuidadosamente observada, utilizando abordagens que envolvem softwares de monitoramento, análise de logs e feedbacks dos usuários.
Avaliação
Nesta etapa, os dados da fase de monitoramento são avaliados para verificar se a nova versão está funcionando conforme o esperado. Dificuldades e problemas são identificados e corrigidos.
Adoção ou reversão
Nesta fase, se a nova versão estiver funcionando corretamente e não houver problemas significativos, ela é implementada para o restante da base de usuários. Se problemas forem identificados, eles são resolvidos antes que a nova versão seja lançada para uma base mais ampla.
Se forem detectados problemas críticos, a nova versão é revertida para a anterior, a fim de minimizar o impacto exercido sobre os usuários.
Pós-implementação
Durante esta fase, a funcionalidade da nova versão é avaliada continuamente, mesmo após ela ter sido disponibilizada a todos os usuários, para garantir que não existam problemas imediatos ou a longo prazo.
É essencial lembrar que essas fases nem sempre são simples. O processo pode incluir a repetição de várias delas antes que a nova versão seja aceita como estável e preparada para o lançamento.
Melhores práticas para a implementação do teste canário
Ao realizar um teste canário, é importante levar em consideração os seguintes parâmetros:
Desempenho do sistema
Acompanhe os indicadores de desempenho do sistema, incluindo taxas de erro, latência da rede e utilização da CPU e da memória.
Experiência do usuário
Monitore as métricas de experiência do usuário, como tempo de resposta, taxa de sucesso e satisfação do usuário.
Taxas de erro
Atente-se às taxas de erro para detectar possíveis falhas e problemas na nova versão.
Tráfego
Certifique-se de que a nova versão seja escalada sem apresentar problemas, atentando-se ao tráfego para observar se ela é capaz de atender à demanda prevista.
Segurança
Verifique as métricas de segurança, como número de tentativas de login malsucedidas, tentativas de invasão e vulnerabilidades na nova versão.
Critérios de implementação
Especifique os requisitos que devem ser atendidos antes de distribuir a versão atualizada a todos os usuários.
Plano de reversão
Tenha um plano de reversão para o caso de problemas críticos serem identificados durante os testes.
Automação
Para reduzir erros humanos e aumentar a produtividade, automatize o processo ao máximo possível, incluindo as fases de monitoramento, avaliação e reversão.
Comunicação
Defina canais de comunicação claros com as partes envolvidas e o restante da equipe para garantir que todos estejam cientes do andamento dos testes e de quaisquer problemas que possam surgir.
Melhoria contínua
Analise os resultados dos testes canários com frequência para identificar áreas de melhoria e fazer alterações no processo para aumentar sua eficácia.
Desafios do teste canário
Ao planejar e executar um teste canário, é essencial ter uma estratégia bem-definida e levar em consideração os desafios destacados a seguir.
Complexidade
O teste canário pode ser complexo, especialmente quando se trata de um sistema de grande porte. Ele exige um profundo conhecimento do sistema e a capacidade de configurar um ambiente de teste que imite o ambiente de produção da forma mais fidedigna possível.
Recursos limitados
O teste canário exige uma quantidade significativa de recursos, incluindo infraestrutura para testes, ferramentas de monitoramento e equipe para configurar, executar e analisar o teste.
Problemas de configuração e compatibilidade
O teste canário pode revelar problemas relacionados à configuração ou compatibilidade, especialmente com aplicativos móveis, que podem ser difíceis de detectar em um ambiente de desenvolvimento ou teste.
Implementação em escala corporativa
A implementação de um teste canário em nível corporativo é desafiadora, porque o programa é instalado em dispositivos pessoais. Uma possível solução é configurar um sistema de atualização automática para usuários finais ou usar feature flags para habilitar um recurso remotamente para um pequeno grupo de usuários.
Conclusão
A utilização do teste canário é popular porque reduz a necessidade de possuir infraestrutura adicional e diminui o risco de implementar alterações em todo o ambiente de produção. As empresas que adotam essa técnica conseguem testar a nova versão em um ambiente de produção real sem disponibilizá-la imediatamente para todos os usuários.
