Boa tarde, meu nome é Alexander Ulanov, sou engenheiro de testes em Odnoklassniki. Neste artigo, gostaria de falar sobre um dos projetos em que participei. Eu o aviso imediatamente: no artigo, você não encontrará descobertas ou abordagens complexas à metodologia de teste. No entanto, o processo de desenvolvimento e teste descrito no artigo pode ser interessante ou até útil para alguém.
Episódio 1: Medo e ódio no OTRS
O OTRS é um sistema de processamento de solicitações que permite que as organizações envolvidas no suporte técnico de qualquer projeto trabalhem juntas para resolver problemas do usuário. O sistema foi escrito em Perl e foi suportado pelos desenvolvedores até novembro de 2017.
Foi o sistema OTRS que usamos por muitos anos para processar todas as chamadas dos usuários. A decisão de usar o OTRS foi tomada há muitos anos. Depois, havia uma tarefa simples: encontrar uma solução pronta e adaptá-la rapidamente aos nossos objetivos. E foi terrível, vou explicar o porquê:
- usamos uma versão personalizada do sistema OTRS para nossas necessidades e, portanto, atualizá-lo (até o outono de 2017) foi, para dizer o mínimo, difícil;
- com o tempo, começamos a entender que o sistema repousa sobre sua carga "de teto" e deixa de lidar com o número de aplicativos provenientes de nossos usuários;
- o sistema OTRS foi integrado à infraestrutura geral de forma a depender completamente das atualizações da rede social OK.ru. O que tornou possível atualizar o OTRS apenas uma vez por semana;
- uma equipe de 90 funcionários de suporte poderia fornecer respostas às reclamações apenas dentro de algumas horas;
- testar cada atualização do sistema do nosso lado se transformou em um pesadelo, porque mesmo as menores alterações podem interromper o sistema em qualquer um dos nós. Quando se tratava de adicionar novas funcionalidades, o processo de desenvolvimento e teste se transformou em semanas de depuração do sistema;
- OTRS em si é escrito em Perl. Uma linguagem que praticamente não foi usada nos projetos OK.ru, que impôs problemas adicionais;
- e, talvez, o principal problema seja MAIL! O OTRS tratou de reclamações na forma de email. E isso é em 2016-2017! Portanto, inúmeras configurações, recursos para trabalhar com serviços de correio e longa espera por respostas para os usuários, inevitáveis ao se comunicar com o suporte por correio.
Episódio 2: O que queríamos obter
A ideia de uma saída completa da OTRS começou a se desenvolver na empresa desde 2015. Tarefa principal: livrar-se do uso do correio e fornecer a capacidade de responder rápida e oportunamente aos usuários, sem um aumento múltiplo no número de funcionários de suporte. A solução mais óbvia é um serviço de suporte online.
Além disso, ninguém queria gastar recursos em um sistema completamente novo. É mais lógico usar seus serviços internos, cujo funcionamento já possui experiência e cobertura de teste. Mais um requisito puramente técnico: poder fazer atualizações no novo sistema a qualquer momento e não depender de outras equipes. O que nos prometeu flexibilidade no desenvolvimento e teste.
No mesmo período, o OK.ru viu uma modernização global do sistema de mensagens. Foi com base nas novas mensagens que foi decidido implementar o novo sistema de suporte on-line (a seguir denominado "oSupp").
Episódio 3: Planejamento
Nos estágios iniciais do desenvolvimento do oSupp e como resultado de inúmeras reuniões, vimos vários problemas. O principal é que é impossível mudar imediatamente todo o trabalho do OTRS para oSupp de uma só vez:
- era necessário avaliar completamente como o novo sistema lida com a carga técnica (lembre-se, estamos falando sobre o processamento de 10 a 12 mil reclamações por dia);
- Era necessário treinar funcionários para trabalhar no novo sistema;
- Era necessário realizar testes A / B em usuários e funcionários de suporte e avaliar como eles lidariam com a carga;
- limitação técnica: o sistema de mensagens OK.ru nunca trabalhou com usuários não autorizados antes. E no trabalho de suporte, a comunicação com usuários não autorizados é quase um terço de todos os milhares de reclamações;
- Para testar o sistema, você precisa criar um ambiente o mais semelhante possível a um ambiente real, mas sem acesso a usuários ativos.
Decidimos que a melhor maneira é implementar e implementar oSupp em três etapas:
- Desenvolvimento e teste de protótipos.
- Implementando o oSupp para processar chamadas de usuários autorizados do OK.ru.
- Cobertura total de todas as chamadas com o novo sistema oSupp.
Episódio 4: Teste e Comissionamento
Para testar o protótipo, foi criado um ambiente de teste com a capacidade de gerar chamadas de usuários de teste e a capacidade de conectar oSupp ao ambiente de teste OK.ru. Deve-se notar aqui que o novo sistema foi projetado de tal maneira que nada mudou por parte do usuário até o momento da comunicação direta com o operador. A familiar seção "Ajuda" permaneceu, a digitação reconhecível dos tópicos no site e as perguntas frequentes foram preservadas.
Até esse momento, nada mudou em termos de teste. Todos os planos de teste e cobertura por autoteste não foram alterados. U - conveniência!
Depois que o usuário encontrou o tópico da apelação e preencheu os campos obrigatórios, a mensagem caiu no sistema oSupp e o usuário conversou com um dos funcionários de suporte na seção Mensagens. O diálogo começou instantaneamente quando havia um operador livre no sistema. Caso contrário, o bate-papo também foi criado e o usuário recebeu uma primeira mensagem automática "O operador entrará em contato com você em breve".
Mais uma vez - um mínimo de alterações no processo de teste. Este é um bate-papo regular e, para ele, não foi necessário elaborar novos planos de teste. U - conveniência!
Mas, para garantir o trabalho dos funcionários, o sistema foi criado do zero. Era necessário um sistema rápido que permitisse o trabalho simultâneo de várias dezenas de funcionários on-line e que seria capaz de processar milhares de chamadas por dia.
Desenvolvimento e teste foram iterativos. Uma vez por semana, adicionamos novos módulos funcionais ao sistema, o que nos permitiu não salvar tarefas e gradualmente cobrir o sistema com testes. Compilei casos de texto para teste, destacando simultaneamente aqueles que poderiam ser automatizados. O processo de desenvolvimento de um protótipo totalmente funcional levou cerca de cinco meses.
Como resultado, obtivemos um serviço da Web em que um operador-operador poderia efetuar login e aceitar solicitações de usuários para processamento. Para um grupo de funcionários de suporte, realizamos testes A / B várias vezes para entender, nesta fase, como eles são convenientes e compreensíveis para trabalhar no novo sistema. Foi uma experiência gratificante. Pudemos testar o sistema oSupp na carga criada artificialmente em nosso ambiente de teste. No entanto, isso não garante que, no mundo real, não tenhamos problemas.
Em fevereiro de 2017, começamos a introduzir um novo sistema no ambiente do produto. Como escrevi anteriormente, ao entrar em contato com o suporte ao cliente, o usuário deve selecionar o tópico do contato. Para os primeiros testes do sistema em usuários reais, selecionamos vários tópicos para os quais a carga era mínima. O sistema funcionou neste formulário por cerca de uma semana. O teste A / B não era necessário para os usuários, pois praticamente não houve alterações na funcionalidade do portal. No lado oSupp, os três operadores online lidaram com a carga. Rastreamos rapidamente problemas que poderiam ser corrigidos imediatamente, como O novo sistema oSupp não estava mais vinculado às atualizações do portal principal. Agora poderíamos atualizar o sistema e corrigir problemas quando quiséssemos. U - conveniência!
Gradualmente, aumentamos o número de tópicos processados por meio do novo sistema. Com uma implantação tão suave, não apenas conseguimos controlar a carga, mas gradualmente treinamos a equipe de suporte para trabalhar com o novo sistema sem a necessidade de distraí-los do restante do trabalho. Em meados do verão de 2017, cerca de 35% das solicitações foram transferidas para processamento pelo serviço online. Um terço de nossa equipe já trabalhou com o oSupp. O sistema foi coberto com documentação, planos de teste e os autotestes mínimos necessários, que foram lançados quando o sistema foi atualizado. Até dezembro de 2017, transferimos todos os aplicativos de usuários autorizados online.
O próximo passo importante é fornecer suporte online para usuários que enfrentam problemas de autenticação. É sobre aqueles que esqueceram a senha, foram hackeados, bloqueados ou apenas usuários com chamadas não padrão. O principal problema técnico nesta fase - o sistema de mensagens OK.ru foi projetado historicamente para correspondência no formato “usuário OK (operador de suporte no nosso caso) - usuário OK”. Mas precisávamos garantir o trabalho da situação "usuário OK (operador) - usuário não autorizado".
A equipe de suporte começou a trabalhar em estreita colaboração com a equipe de mensagens do OK.ru. Como resultado, foram inventadas soluções que possibilitavam diretamente na tela de login do OK.ru o recebimento de bate-papo on-line com um operador de serviço de suporte. Ao mesmo tempo, o sistema oSupp já existente e comissionado não exigia alterações. E a nova essência do bate-papo on-line funcionou no mecanismo de mensagens OK.ru modificado. U - conveniência!
Começamos a implementar essa decisão no início de 2018. Em termos de teste, também não houve dificuldades especiais, pois Esse bate-papo tinha um conjunto mínimo de funcionalidades. Primeiro, lançamos o suporte para reclamações de usuários não autorizados da Web. No momento, o suporte a essas reclamações de aplicativos móveis está sendo implementado.
Episódio 5: Resumo
Do estado do protótipo para um serviço totalmente operacional, a oSupp mudou-se para o verão de 2018. Em março de 2019, 60% das solicitações são processadas por meio do suporte online. A equipe não foi alterada. 90 funcionários do serviço de suporte on-line cobrem cerca de 6.000 reclamações de usuários diariamente. Durante o pico de atividade no portal, aguardar uma resposta do operador leva até 10 minutos. Sob carga de trabalho normal, os operadores respondem dentro de 1-2 minutos. Graças à opção de viver a comunicação on-line, a restauração bem-sucedida do acesso do usuário ao perfil aumentou 15%.
Agora temos 100% de nosso próprio produto, podemos modificá-lo a qualquer momento. A equipe não depende mais das atualizações do portal OK.ru. O novo sistema de processamento de aplicativos é escrito em Java, que implementa muitos serviços OK.ru. O processo de teste do sistema oSupp é totalmente coberto por casos de teste e, com atualizações, é assegurado por testes automáticos.
Devo observar que não abandonamos completamente o OTRS. O sistema de suporte offline foi congelado em meados de 2017 e agora está desempenhando o papel de seguro. Há chamadas de usuários inescrupulosos que gostam de spam sem rumo no serviço de suporte. O OTRS também processa chamadas que, por razões específicas, os usuários não podem ser processados online. Agora, os planos de nossa equipe incluem a implementação do processamento de chamadas de aplicativos móveis e a implementação do sistema de chatbot.
No entanto, nosso principal objetivo foi alcançado - estamos nos afastando do uso de correio. Agora, para resolver problemas, nossos usuários recebem respostas rápidas e oportunas.
Nossa principal conquista: o usuário reduziu significativamente o tempo de espera para obter uma resposta e receber ajuda.