Dice Svetlana Kayushina, jefe del departamento de documentación y localización.
Nuestro departamento de documentación ha pasado por varias etapas de desarrollo. Primero había un escritor técnico que realizaba las tareas de un cliente individual. Luego se formó un grupo de escritores técnicos, que resolvieron un conjunto limitado de tareas. Ahora tenemos un gran departamento de producción: satisface plenamente las necesidades de la empresa en materia de documentación.
En cada etapa, los requisitos para el trabajo del departamento cambiaron y aparecieron nuevas métricas para medir la calidad de la documentación y el servicio para proporcionar servicios de documentación. Las métricas nos ayudan a mejorar el producto, los procesos y la calidad, así como a informar oportunamente sobre las fallas.
Primeras métricas
Yandex necesitaba el primer escritor técnico para documentar la tecnología que usaban casi todos los desarrolladores. La información al respecto se transmitió oralmente entre sí, por lo que parte de ella se perdió o distorsionó inevitablemente.
La documentación fue escrita, los clientes estaban satisfechos, por lo que decidimos dominar otras áreas. Comenzamos con una descripción de los servicios que son críticos para los negocios: son utilizados por muchos empleados de la compañía.
En la etapa inicial, los clientes nos asignaron la tarea de documentar la tecnología. La única métrica era la disponibilidad de documentación: escrita o no. Cuando un escritor técnico estaba solo, la calidad era evaluada por el propio cliente. Cuando hubo más escritores, los consultores de servicio se unieron a los clientes y verificamos la calidad de la documentación dentro del departamento.
El flujo de tareas aumentaba constantemente, por lo que había un problema con el mantenimiento de un único nivel de calidad. La evaluación experta es bastante subjetiva, pero queríamos que fuera independiente.
Además, a los clientes se les ocurrieron tareas de diversa complejidad: por ejemplo, capturar información que una persona conocía o describir tecnología compleja para desarrollar nuestros productos externos.
Todo esto creó ciertos problemas, por lo que necesitábamos un sistema para priorizar tareas y evaluar la calidad de la documentación.
Métrica de documentación interna
Comenzamos a recopilar comentarios de clientes internos y lectores que utilizaron la documentación para resolver sus problemas. Por ejemplo, un cliente podría decirnos que dejó de consultar a sus colegas 10 horas a la semana y ahora está haciendo su trabajo principal de manera más productiva.
Les preguntamos a los lectores qué tan bien la documentación los ayuda a resolver problemas. Asistencia rastreada: cuántos usuarios por semana acceden a los documentos. Si hay más de un cierto número, entonces vale la pena apoyar el documento.
Este método requería costos significativos y acceso directo al cliente. En condiciones de uso masivo de la documentación, resultó ser demasiado costoso y poco aplicable. Por lo tanto, cuando comenzamos a desarrollar documentación para usuarios externos, aparecieron problemas.
La audiencia ha crecido, no teníamos acceso directo a ella. Seguimos las revisiones en las redes sociales y las solicitudes de soporte técnico, pero esto no fue suficiente. Tuve que construir hipótesis sobre quién es nuestro usuario para satisfacer sus necesidades tanto como sea posible. Para evaluar el comportamiento del usuario y el rendimiento del producto, utilizamos Yandex.Metrica.
Desarrollo de un sistema métrico para documentación externa.
Los objetivos comerciales no cambiaron mucho, pero apareció una nueva condición: tuvimos que preparar la documentación para el lanzamiento oficial. Ahora necesitábamos cumplir con los plazos.
Continuamos utilizando las métricas anteriores, pero se les agregó la asistencia y las denegaciones del servicio de documentación. Fueron rastreados tanto para el servicio en su conjunto como para documentos individuales.
Los escritores técnicos utilizaron datos adicionales para mejorar la calidad de la documentación:
- análisis del comportamiento del usuario en el servicio,
- mapa de calor de clics,
- visor web
- evaluación de consultas de búsqueda, etc.
Luego pasamos a la etapa de producción en masa y nos convertimos en un servicio para la prestación de servicios de documentación.
Documentación Métrica de producción en masa
En esta etapa, los clientes y la gerencia tienen nuevos requisitos para el departamento de documentación.
Los clientes estaban interesados en el momento y la evaluación de la complejidad de las tareas. Por ejemplo, preguntaron por qué escribimos un documento durante dos semanas, no dos días. Al mismo tiempo, esperaban de nosotros una alta calidad.
La gerencia estaba interesada en la justificación de costos. Para contratar a una persona para el departamento, tuvimos que discutir esto. Por ejemplo, podríamos mostrar un beneficio medible de un documento si resuelve los problemas no de un par de usuarios, sino de varios miles, y reduce la carga del soporte técnico.
Nuestras métricas estadísticas ya no fueron suficientes para responder estas preguntas.
En el contexto de la producción en masa, tenemos varias tareas principales:
- tecnología de documentos
- mantenerse al día con los lanzamientos,
- Proporcionar un alto nivel de calidad.
Esto requiere un enfoque integrado de todo lo que hacemos.
Además, nosotros, como servicio, debemos evaluar la calidad de nuestros servicios. Necesitamos entender qué tan satisfechos están los usuarios y qué beneficios trae la documentación de alta calidad.
Para desarrollar un nuevo sistema de evaluación, realizamos un estudio y analizamos una gran cantidad de fuentes: se encontraron un total de 136 métricas. Además del hecho de que hay demasiados, no todos son fáciles de medir y no los necesitamos todos. Por lo tanto, elegimos métricas que se ajustan a nuestras condiciones.
Nos interesaron los siguientes aspectos de la evaluación:
- El diseño y las métricas comerciales son indicadores de la efectividad de la calidad del servicio en su conjunto. Son necesarios para aumentar la satisfacción del cliente y predecir los recursos del departamento para realizar todas las tareas.
- Documente las métricas de evaluación de calidad para mejorar la satisfacción del usuario.
Al elegir las métricas, tomamos en cuenta la complejidad y el costo de calcular la métrica. También es importante para nosotros que la esencia y el cálculo de la métrica sea clara para las personas que no están inmersas en los matices de nuestro proceso de producción.
Como resultado, seleccionamos 20 de 136 métricas y luego las dividimos en cuatro grupos. Mostramos datos métricos en paneles que están disponibles para cualquier empleado de la empresa.
En la siguiente parte del artículo, describiremos con más detalle las métricas para el desarrollo y el soporte de la documentación y cómo las consideramos. Regístrese para recibir nuevos comentarios: sin duda le informaremos sobre el lanzamiento de la próxima parte del informe.