Depois que Ivan
conheceu a análise de coorte , ele odiou qualquer tipo de métrica açucarada.
Mas a ironia era que a liderança não sabia de mais nada e categoricamente não queria saber. Eu tive que me afastar e estupidamente ir ao encontro dos “pedidos” do chefe, para não ganhar uma reputação de pessoa má que desobedeceu às instruções dos sábios.
Às vezes, até resultados interessantes foram obtidos com isso. Um desses casos será discutido agora.
Certa vez, o gerente pediu a Ivan que descobrisse por que a conversão de passar pelas bancas pelas equipes vem caindo continuamente há 3 semanas:
Devo dizer que havia muitas equipes no departamento de Ivan, várias dezenas, todos os dias, eles faziam centenas de assembléias de suas distribuições e as checavam nas arquibancadas.
A conversão considerou a proporção entre o número de compilações criadas por equipes por semana e o número de montagens que passaram no estande de destino.
Uma das principais deficiências das métricas açucaradas é que é impossível determinar qualquer coisa a partir delas. A conversão usada pelo chefe de Ivan acabou sendo uma métrica açucarada típica. A conversão estava caindo, mas não estava claro o porquê.
Naturalmente, todas as equipes foram ouvidas com o objetivo de melhorar o desempenho dos estandes a todo custo. Para fazer isso, outra métrica açucarada com uma lista de "bandidos" foi compilada muito rapidamente:
Sob cada coluna da figura, na realidade, os nomes das equipes estão escritos.
As equipes uivaram e começaram a lutar para romper com o novo infortúnio que caíra sobre eles.
Cansado de perseguir equipes, o líder pediu a Ivan que resolvesse os motivos da queda na conversão.
E então, o que aconteceu ...
Entenda a essência das métricas
Métricas precisam ser entendidas. Pelo menos entenda como eles são considerados. Então você pode ir mais fundo e descobrir. Então Ivan fez:
Conversão = Construções Criadas / Deles passaram no estandePara entender a fórmula, Ivan primeiro exibiu dois componentes da conversão no gráfico:
Tornou-se óbvio imediatamente que o número de construções criadas praticamente não mudou, mas ao mesmo tempo o número de montagens que passaram no estande diminuiu e começou a diminuir no mesmo momento em que a conversão começou a diminuir.
A conversão mudou devido ao fato de que a diferença entre o número de montagens criadas e o número de posições anteriores aumentou e, desde conversão é o resultado da divisão uma pela outra e, com o aumento da diferença, o valor da conversão também muda síncrona (diminui).
A diferença entre os valores no gráfico é uma linha escura.
I.e. o aumento na diferença entre as colunas vermelha e azul no gráfico indica uma diminuição automática na conversão.
Pondere sobre os resultados
Ivan entendeu que as descobertas ainda não eram suficientes para determinar a causa.
A experiência anterior em métricas deu a ele uma ideia importante: você precisa procurar a raiz, a verdadeira causa raiz de qualquer problema.
O motivo de qualquer alteração na conversão do DevOps é na verdade ... pessoas. Desenvolvedores e devopsers de equipes. Era Ivan quem queria chegar até eles no final.
Observando a crescente diferença entre as montagens criadas e a passagem do estande, ele se perguntou: por que isso está acontecendo e quem é o “gerador” de montagens que não chegaram ao estande?
O livro lido “Toyota Tao” deu uma dica: é necessário olhar para “sobras de estoque” ou “trabalhos em andamento”.
Porque as assembléias passaram por vários estandes e puderam ficar lá, Ivan decidiu contar não apenas as assembléias de um estande, mas ver o verdadeiro "equilíbrio real", ou seja, para contar quantas montagens não foram usadas em nenhum suporte e deixadas para dar peso morto:
A linha escura mostra o número de resíduos, amarelo - o número de montagens que passaram na posição de destino, levadas em consideração no planejamento de conversão inicial.
Eu nem precisava adivinhar. O movimento síncrono óbvio das duas linhas também foi confirmado pelo cálculo da correlação:
Verificou-se que quanto mais restos de montagem restarem, menor será a conversão desejada.
Encontre a causa raiz
Não foi difícil determinar quem cria as sobras usando a tabela mais simples:
Na coluna da esquerda está o nome da equipe. Coluna destacada - o número de resíduos criados por essa equipe em uma semana.
Os líderes do TOP2 saíram imediatamente e Ivan imediatamente correu para lidar com eles.
O motivo, é claro, acabou sendo banal: as equipes simplesmente iniciaram um novo ciclo de desenvolvimento e, criando funcionalidade, começaram a construir para verificar sua correção.
A principal desvantagem das métricas açucaradas
De fato, a mudança na conversão acabou intimamente ligada ao processo de desenvolvimento cíclico e não foi fatal ou ruim.
No gráfico de conversão, três ondas de desenvolvimento (ciclos) são visíveis.
Este é um processo natural que deve seguir esse caminho.
E as equipes jurando com o líder estavam absolutamente certas: com o atual processo de desenvolvimento usado pela empresa, aumentar a conversão não seria apenas uma ação "incompreensível", mas poderia destruir completamente o processo e levar a atrasos significativos no fornecimento de software.
Essa é a principal desvantagem das métricas açucaradas - elas transformam os aspectos positivos em negativos e, em vez de esclarecer a situação, eles apenas a confundem e pioram.
Conclusões
Em geral, a experiência foi interessante para Ivan, por isso, mesmo com algum prazer, preparou uma apresentação para a liderança, na qual explicou que a métrica usada não era adequada para gerenciar o departamento, era enganosa e poderia causar grandes problemas.
Isso é tudo.
Se a experiência de Ivan lhe pareceu interessante, ele ficará muito agradecido pelo seu feedback.
A propósito, Ivan agora quer colocar a si mesmo e seus conhecimentos em um projeto inspirador e incendiário, de modo que ele aceita ofertas interessantes no PM.