Diz Svetlana Kayushina, chefe do departamento de documentação e localização.
Nosso departamento de documentação passou por vários estágios de desenvolvimento. Primeiro, havia um escritor técnico que executava as tarefas de um cliente individual. Em seguida, foi formado um grupo de escritores técnicos, que resolveu um conjunto limitado de tarefas. Agora, temos um grande departamento de produção - ele atende plenamente às necessidades da empresa em documentação.
Em cada estágio, os requisitos para o trabalho do departamento mudaram e novas métricas pareciam medir a qualidade da documentação e o serviço para fornecer serviços de documentação. As métricas nos ajudam a melhorar o produto, os processos e a qualidade, além de informar oportunamente sobre falhas.
Primeiras métricas
O primeiro escritor técnico foi necessário para a Yandex documentar a tecnologia usada por quase todos os desenvolvedores. As informações eram transmitidas oralmente entre si, de modo que parte delas era inevitavelmente perdida ou distorcida.
A documentação foi escrita, os clientes ficaram satisfeitos, por isso decidimos dominar outras áreas. Começamos com uma descrição dos serviços críticos para os negócios: eles são usados por muitos funcionários da empresa.
No estágio inicial, os clientes nos definem a tarefa de documentar a tecnologia. A única métrica foi a disponibilidade da documentação: foi escrita ou não. Quando um escritor técnico estava sozinho, a qualidade era avaliada pelo próprio cliente. Quando havia mais escritores, os consultores de serviço se juntaram aos clientes e verificamos a qualidade da documentação dentro do departamento.
O fluxo de tarefas estava aumentando constantemente; portanto, havia um problema em manter um único nível de qualidade. A avaliação de especialistas é bastante subjetiva, mas queríamos que fosse independente.
Além disso, os clientes criaram tarefas de complexidade variável: por exemplo, capturando informações que uma pessoa conhecia ou descrevendo tecnologias complexas para o desenvolvimento de nossos produtos externos.
Tudo isso criou alguns problemas, por isso precisávamos de um sistema para priorizar tarefas e avaliar a qualidade da documentação.
Métricas de documentação interna
Começamos a coletar feedback de clientes e leitores internos que usavam a documentação para resolver seus problemas. Por exemplo, um cliente poderia nos dizer que ele parou de consultar seus colegas 10 horas por semana e agora está fazendo seu trabalho principal de forma mais produtiva.
Perguntamos aos leitores como a documentação os ajuda a resolver problemas. Atendimento rastreado: quantos usuários por semana acessam documentos. Se houver mais de um determinado número, vale a pena apoiar o documento.
Esse método exigia custos significativos e acesso direto ao cliente. Em condições de uso em massa da documentação, acabou sendo muito caro e pouco aplicável. Portanto, quando começamos a desenvolver documentação para usuários externos, surgiram problemas.
O público cresceu, não tivemos acesso direto a ele. Acompanhamos as análises nas redes sociais e solicitações de suporte técnico, mas isso não foi suficiente. Eu tive que criar hipóteses sobre quem é nosso usuário para satisfazer suas necessidades o máximo possível. Para avaliar o comportamento do usuário e o desempenho do produto, usamos o Yandex.Metrica.
Desenvolvimento de um sistema métrico para documentação externa
Os objetivos de negócios não mudaram muito, mas surgiu uma nova condição: precisávamos preparar a documentação para o lançamento oficial. Agora, precisamos cumprir os prazos.
Continuamos a usar as métricas anteriores, mas o atendimento e as recusas do serviço de documentação foram adicionados a elas. Eles foram rastreados para o serviço como um todo e para documentos individuais.
Os redatores técnicos usaram dados adicionais para melhorar a qualidade da documentação:
- análise do comportamento do usuário no serviço,
- mapa de calor de cliques,
- visualizador da web
- avaliação de consultas de pesquisa etc.
Em seguida, prosseguimos para o estágio de produção em massa e nos tornamos um serviço para a prestação de serviços de documentação.
Métricas de produção em massa da documentação
Nesta fase, os clientes e a gerência têm novos requisitos para o departamento de documentação.
Os clientes estavam interessados no tempo e na avaliação da complexidade das tarefas. Por exemplo, perguntaram por que escrevemos um documento por duas semanas, não dois dias. Ao mesmo tempo, eles esperavam alta qualidade de nós.
A gerência estava interessada em justificação de custos. Para contratar uma pessoa para o departamento, tivemos que discutir isso. Por exemplo, poderíamos mostrar um benefício mensurável de um documento se ele resolver os problemas não de alguns usuários, mas de vários milhares e reduzir a carga no suporte técnico.
Nossas métricas estatísticas não eram mais suficientes para responder a essas perguntas.
No contexto da produção em massa, temos várias tarefas principais:
- tecnologia de documentos
- acompanhar os lançamentos,
- fornecer um alto nível de qualidade.
Isso requer uma abordagem integrada de tudo o que fazemos.
Além disso, nós, como serviço, devemos avaliar a qualidade de nossos serviços. Precisamos entender como os usuários estão satisfeitos e quais benefícios traz a documentação de alta qualidade.
Para desenvolver um novo sistema de avaliação, realizamos um estudo e analisamos um grande número de fontes: foram encontradas 136 métricas. Além do fato de haver muitos deles, nem todos são fáceis de medir e não precisamos de todos. Portanto, escolhemos métricas que se encaixam em nossas condições.
Estávamos interessados nos seguintes aspectos da avaliação:
- Métricas de design e negócios são indicadores da eficácia da qualidade do serviço como um todo. Eles são necessários para aumentar a satisfação do cliente e prever os recursos do departamento para executar todas as tarefas.
- Documente as métricas de avaliação da qualidade para aumentar a satisfação do usuário.
Ao escolher as métricas, levamos em conta a complexidade e o custo do cálculo da métrica. Também é importante para nós que a essência e o cálculo da métrica sejam claros para as pessoas que não estão imersas nas nuances do nosso processo de produção.
Como resultado, selecionamos 20 das 136 métricas e as dividimos em quatro grupos. Exibimos dados métricos em painéis disponíveis para qualquer funcionário da empresa.
Na próxima parte do artigo, descreveremos mais detalhadamente as métricas para o desenvolvimento e suporte da documentação e como as consideramos. Inscreva-se para novos comentários - informaremos sobre o lançamento da próxima parte do relatório.