Escolhendo um sistema de gerenciamento de testes em 2019

Apesar das enormes capacidades dos editores de tabelas modernos, para muitas equipes de desenvolvimento, mais cedo ou mais tarde surge a questão de introduzir ferramentas (sistemas) especializados para gerenciar o processo de teste em seus projetos. Qual escolher?



Tal pergunta em minha prática já foi feita mais de uma vez. Isso me levou a criar este artigo de revisão. No futuro, economizar um pouco de tempo para nós e para todos aqueles que também enfrentam esse problema. E mesmo que não haja resposta no final do artigo (desculpe pelo spoiler) , mas seu subconsciente, provavelmente, será determinado agora e no momento certo de um projeto específico.

Nas minhas pesquisas, deparei com muitos artigos semelhantes (em um dos quais peguei emprestada a estrutura da tabela de comparação), mas todos listam moderadamente funções dos sites desses sistemas e 1-2 capturas de tela da interface e geralmente contêm publicidade oculta ou aberta de uma dessas ferramentas. Mas eu queria testar cada sistema "em mim" e compartilhar abertamente o que vi, contar sobre meus sentimentos.


Abaixo está a tabela comparativa final (clicável), após a qual o leitor, sem pressa de se encontrar, encontrará algumas palavras sobre cada sistema.

Ferramentas pagas:

Testral
Controle de qualidade
Colabora de teste
qTest Manager
PractiTest
Zephyr Standalone
Loja de teste
Easyqa

Ferramentas de código aberto:

Testlink
SquashTM
Kiwi TCMS

---

Importante:
Capturas de tela de interfaces são clicáveis ​​e ocultas em um spoiler. Você pode encontrar ainda mais capturas de tela no meu site . Ninguém gosta de autopromoção, portanto, se houver exemplos de artigos ou uma maneira rápida e conveniente de adicionar galerias de imagens semelhantes a um artigo sobre Habré, conte-me nos comentários ou em uma mensagem pessoal. Vou tentar refazer e remover esta observação.

---

Testral

Website: www.gurock.com/testrail
Desenvolvedor: Gurock Software GmbH
Preço: TestRail Cloud $ 30 por usuário / mês (1-20 usuários)

Agradável: interface conveniente e intuitiva; inserção rápida de imagens; Marcação de texto de remarcação; Adicionando campos personalizados definir a ordem de exibição dos campos do caso; a capacidade de atribuir cada caso (ou testran) a um usuário individual; casos rápidos de cópia e movimentação; agrupar vários testranes em um plano de teste; rápida integração com rastreadores de bugs (por URL do rastreador ou usando plugins); exportação de casos e relatórios nos formatos XML e CSV; Recursos abrangentes de API para integração com seus sistemas internos (sincronização de informações nos casos, salvando resultados de testes, etc.); relatórios visuais; formulários de impressão arrumados; ao criar um projeto, você pode escolher três tipos de estruturas para armazenar casos de teste (um dos quais permite dividir os casos em ramificações que correspondem ao desenvolvimento).

Não está satisfeito: não há requisitos internos; nenhum rastreador de bugs; o preço é bastante alto (especialmente para pequenas empresas).

Controle de qualidade

Site: www.qatouch.com
Desenvolvedor: DCKAP
Preço: Profissional $ 69 para 50 usuários / mês

Agradável: amplas oportunidades disponíveis e planejadas a um preço adequado; boa interface do usuário; rastreador de erros e requisitos embutidos; integração com rastreadores de erros externos JIRA, GitHub, GitLab; liberar o planejamento de testranes; existe a possibilidade de criar uma reexecução (reexecução) com casos de um determinado status; discagem por voz e preenchimento de texto do título do caso e bug; etapas de casos reutilizáveis.
Infelizmente, não consegui tirar uma captura de tela de alguns componentes do produto, porque eles estão disponíveis apenas em planos pagos.

Não está satisfeito: os componentes do caso (campos principais, etapas, anexos) são espalhados em guias durante a edição; sem formatação de texto; a imagem, embora possa ser adicionada a uma única etapa, mas apenas a uma e como um arquivo para download; nenhuma versão de caso; as áreas de texto das etapas e os resultados esperados, ao alterar manualmente o tamanho, se perdem durante a edição (não na mesma linha); a forma de seleção dos casos para o testran é um pouco diferente ao criar e editar; a lista de casos e erros inclui apenas seu nome e ID (para uma rápida visão geral da lista, campos personalizados adicionais não seriam supérfluos); a marca de status durante a execução também é colocada em uma guia separada das informações gerais do caso; existem pequenos cardumes nos dados exibidos (o número total de casos no painel e o estranho campo "Atribuído a" - atribuo isso ao fato de me registrar naquele ano, desde então, o fornecedor o complementou substancialmente ).

Colabora de teste

Site: testcollab.com
Desenvolvedor: Test Collab
Preço: Startups a partir de US $ 25 por usuário / mês (mais de 50 usuários - US $ 10)

Agradável: uma ampla configuração de notificações por correio (com a capacidade de editar modelos de cartas); combinar testranes em planos de teste; interface agradável com dicas (que podem ser desativadas); função de etapas reutilizáveis; a capacidade de comentar o caso durante a edição; tags seleção do tipo de formatação de texto (Markdown, HTML / WYSIWYG, texto sem formatação); Adicionando campos personalizados modelos personalizáveis ​​para selecionar casos em testran; requisitos embutidos; preço (para pequenos projetos, existe um plano gratuito com 200 casos e 400 casos concluídos).

Não está satisfeito: você não pode editar os campos do sistema (em particular Prioridade); não há como salvar os campos exibidos nas listas (quando as páginas de atualização são redefinidas por padrão); existem pequenas falhas na exibição dos elementos da interface do usuário; não há formulários impressos para casos ou para relatórios (provavelmente agora eles raramente são usados, mas outras ferramentas oferecem essa função) ; os dados em um painel comum são atualizados com um atraso; exportação de casos para apenas um conjunto de testes (nesse caso, conjuntos aninhados processam apenas a exportação para XML); inserção inconveniente de imagens nas etapas do caso (via link); nenhum rastreador de bugs.

qTest Manager

Site: tricentis.com
Desenvolvedor: Tricentis (adquiriu QASymphony em 2018)
Preço: a partir de US $ 99 por usuário / mês (o preço é aproximado e depende do número de usuários)

Agradável: configurar campos do sistema e adicionar campos personalizados a vários objetos (com a capacidade de visualizar esse objeto e até alterar as cores para o status da execução); histórico informativo de alterações de casos; editor de HTML embutido nos campos de texto do caso; comentando um único caso; Você pode se inscrever em um caso separado e receber notificações por e-mail sobre alterações; Uma implementação interessante da versão automática de caso (com componentes principais e secundários); função de execução rápida do caso (sem definir o status de cada etapa); requisitos internos com ligação de caso e uma indicação do conjunto de destino, também há um rastreamento de erros interno; casos reutilizáveis; configurações testran personalizáveis; amplas oportunidades de integração com os rastreadores de bugs e serviços de CI / CD; API para interação ainda mais flexível; consultas de pesquisa armazenadas por caso, requisitos, etc; vários relatórios; configurações flexíveis no lado do administrador (usuários, notificações, direitos, grupos etc.); projeto incorporado com todos os dados para se familiarizar com os recursos do produto; planos de teste.

Não está feliz: não há formas impressas de casos; exportar casos apenas no formato Excel (mas com uma aparência legível); visualização levemente inconveniente de imagens nas etapas do caso durante a execução; o site não possui informações sobre o preço do produto (é necessário fazer uma solicitação separada) e é impressionante.

PractiTest

Site: www.practitest.com
Desenvolvedor: PractiTest
Preço: EMPRESAR $ 49 por usuário / mês (mínimo de 3 usuários)

Agradado: a capacidade de comentar o caso (teste); tags (palavras-chave) para o teste; salto rápido para o número do teste; geração de permutações de testranes (para diferentes testadores, versões); o uso de parâmetros nas etapas do caso (com a capacidade de alterar o valor para cada execução); inclusão de etapas (chamada para teste) de um caso em outro (às vezes é realmente necessário e você não precisa pular para links para outros casos) ; integração bidirecional com o Jira e o YouTrack (criando um token de API); Adicionando campos personalizados quadro de status kanban para casos; seu rastreador de bugs e requisitos (mas não tirou capturas de tela com eles).

Não está satisfeito: UI / UX complexo como um todo (em particular, a divisão da estrutura do caso em guias: descrição e etapas em diferentes guias); a escassa e imprimível versão impressa dos casos e dos relatórios; embora exista suporte para marcação de remarcação, mas as imagens são adicionadas às etapas apenas como anexos; você não pode alterar o status de todo o caso se alguma etapa não tiver sido aprovada (isso está correto, mas às vezes você precisa "esverdear" todo o teste) ; a lista de usuários não pode ter a prioridade de classificação (classifica em ordem alfabética); preço (caro, mesmo considerando as características únicas); suporte ao widget de bate-papo em cada página.
O site da empresa no momento da publicação não estava disponível no IP russo, enquanto a plataforma da web estava sendo aberta.

Zephyr Standalone

Site: www.getzephyr.com
Desenvolvedor: SmartBear Software
Preço: a partir de US $ 50 por usuário / mês (preço retirado do passado, agora não mostrado no site)

Fico feliz: planejamento atraente das etapas de teste (semelhante a um gráfico de Gantt) com a adição e personalização de vários trabalhos de teste; requisitos integrados e rastreamento de erros, que, com o JIRA, se integram perfeitamente a ele (com a capacidade de pesquisar e visualizar tickets diretamente do Zephyr); é possível adicionar campos personalizados aos objetos (projeto, casos, requisitos), alterar o nome e a cor para o status da execução (o caso inteiro e uma única etapa); Você pode adicionar widgets para um projeto com várias características (diagramas) que serão atualizados após um tempo especificado; exportar casos nos formatos HTML e PDF com os campos necessários.

Não está satisfeito: interface incomum, você precisa se acostumar com o UX / UI por um tempo; não há link direto para um caso separado (somente através de uma consulta de pesquisa você pode gerar um URL para ele); o painel com o widget de ajuda abaixo não é removido; Você não pode alterar os campos do sistema; As imagens das etapas do estojo podem ser adicionadas apenas como anexos ao estojo inteiro; afiação apenas no JIRA; o preço deve ser descoberto mediante solicitação (e somente por telefone, essas informações não são fornecidas na mensagem eletrônica) .

Loja de teste

Site: www.testlodge.com
Desenvolvedor: TestLodge Limited
Preço: básico $ 49 por 600 casos / mês (assinatura por quantidade de dados)

Agradável: interface concisa; criação e seleção de uma configuração ao criar um testran; integração rápida com rastreadores de bugs populares; criando um plano de teste (com um modelo padrão); matriz de cobertura (se os requisitos forem mantidos dentro do produto); modelo de assinatura pela quantidade de dados (para alguns projetos, isso é uma vantagem); defina a exportação para HTML (também é um formulário impresso).

Não está feliz: não há divisão do caso em etapas separadas; campos personalizados não podem ser movidos acima dos campos do sistema; uma imagem só pode ser inserida como um anexo ou um link para ela; exportação de casos apenas cada conjunto separadamente; um conjunto de testes pode ser especificado para apenas um plano de teste; nenhum rastreador de bugs.

Easyqa

Site: geteasyqa.com
Desenvolvedor: ThinkMobiles
Preço: US $ 10 por usuário / mês

Agradável: a capacidade de monitorar e testar montagens móveis (arquivos APK e IPA), integrando-se aos repositórios GitHub ou GitLab; próprio rastreador de bugs com a capacidade de adicionar um plug-in para integração com outros sistemas (GitHub, GitLab, YouTrack, JIRA, RedMine, Pivotal Tracker, Trello); facilidade de uso (às vezes é uma vantagem) com objetos de teste (planos, testranes, casos de teste, relatórios); comparação visual de campos ao exportar casos de um arquivo CSV (mas requer atenção, você pode entrar em um ciclo de exportação sem fim).

Não está feliz: não há como, pelo menos de alguma forma, personalizar objetos; não há resultado esperado para cada etapa do caso; nos casos em que você não pode formatar texto e anexar figuras; existem perguntas para a interface do usuário em alguns lugares (especialmente ao exibir tabelas); não recebeu uma carta de convite do segundo participante do correio de um domínio pessoal; você não pode alterar os direitos das funções (+ não foi possível alterar a função do projeto para um usuário não reconhecido).
A julgar pela atividade nas redes sociais e pelo blog no site, eles suspenderam o desenvolvimento.

---

Os sistemas gratuitos atraem muitos pela falta de uma taxa mensal. Mas eles certamente exigirão certos custos. Em primeiro lugar, hospedagem de aluguel (recursos de computação). Em segundo lugar, os custos de mão de obra do administrador do sistema para instalar, configurar e manter o desempenho do sistema. Mas você já pode ter um servidor (ou uma pequena máquina virtual) e a disponibilidade de imagens prontas do Docker simplifica a implantação, portanto, iniciar um sistema gratuito do zero pode ser mais fácil do que se registrar com um sistema pago (eu exagerei, é claro, mas há alguma piada em todas as piadas ) Adicione a isso a tendência de "controle total" dos dados e os produtos de código aberto estão se tornando mais atraentes para a implementação. Revisei três desses sistemas: TestLink, SquashTM e Kiwi TCMS.

---

Testlink

Site: testlink.org
Linguagem de Desenvolvimento: PHP

Agradável: requisitos integrados e rastreamento através de casos; vários relatórios de texto; a capacidade de adicionar campos personalizados; personalização flexível das funções do usuário; integração com bugtrackers (JIRA, YouTrack, GitLab, Bugzilla, etc.); testlid também pode definir urgência para cada caso em testran, o que afetará a ordem dos casos; gerenciamento da lista de plataformas testadas; inventário de anfitriões (um pouco, mas agradável) ; Editor de HTML com a capacidade de inserir imagens, links, tabelas, listas; na minha opinião, a ferramenta Open Source mais popular, com muitas instruções e artigos sobre configuração e uso; a presença de um recurso de desenvolvimento na linguagem PHP permite alterar o produto de acordo com as suas necessidades (se as funções padrão parecerem insuficientes ou se mostrarem não ser tão convenientes).

Não é feliz: um pouco de interface viciante; você terá que mexer na configuração de alguns componentes para operação completa (ajuste fino dos arquivos de configuração, envio de email, integração com um rastreador de erros); nas janelas de texto do editor de HTML, a verificação ortográfica padrão do navegador não funciona; você não pode editar os campos do sistema e a ordem em que eles são exibidos no formulário do caso; alteração manual da ordem dos passos (você deve inserir números, em vez de arrastar e soltar); a atribuição de casos para testran (build) após as ferramentas pagas parecerá inconveniente.

SquashTM

Website: www.squashtest.org
Linguagem de Desenvolvimento: Java

Agradado: gerenciamento de requisitos com referência a casos de teste; Editor HTML uso de parâmetros em etapas e pré-condições; a capacidade de criar um caso de teste com um script Gherkin ( BDD ); UI função de dobrar o conteúdo das etapas do caso; existe um modo para executar casos com a exibição do site testado no quadro (na maioria dos casos, não é mais relevante, mas existe essa possibilidade); uso de um caso existente (chamar um caso de teste); Incluindo campos personalizados em objetos diferenciação de cores dos componentes do produto, um indicador de status de cores na biblioteca de casos também parecia conveniente; plugins para integração com rastreadores de erros JIRA e Mantis; existe documentação detalhada (embora algumas seções estejam na ordem errada) .

Não está satisfeito: para anexar uma imagem no anexo, você deve primeiro adicionar extensões para esses arquivos à lista branca de configurações do sistema (por padrão, png e jpg estão ausentes); os campos do sistema (categoria e prioridade) não podem ser editados; você não pode editar as sete funções disponíveis de direitos de acesso (no entanto, sete níveis disso costumam ser suficientes); Não consegui gerar alguns relatórios (aprendi com os logs que havia um problema com a inicialização da classe); terminologia incomum para planos de teste e testranes (aqui eles são chamados de Campanha e Iteração); Interface do usuário da guia.

Kiwi TCMS

Site: kiwitcms.org
Linguagem de Desenvolvimento: Python

Agradável: configuração flexível dos direitos do grupo de usuários; integração com rastreadores de erros JIRA, Bugzilla, GitHub e GitLab; operação rápida do sistema; Marcação de texto com descontos, com a capacidade de visualizar rapidamente; a capacidade de conectar plug-ins (alguns, no entanto, apenas em planos de desenvolvimento) para coletar os resultados dos autotestes; API externa documentação detalhada do produto; Desenvolvimento ativo de novos recursos e planos para o futuro.

Não está feliz: no teste não há divisão em etapas separadas; alguns contadores na interface do usuário não são atualizados após a conclusão da ação (é necessário atualizar a página); ortografia própria em um editor de texto; um relatório sobre os casos criados (mas planeja adicionar mais alguns); sem dividir em projetos dentro do sistema.

Conclusão

Essa é apenas uma pequena parte dos sistemas disponíveis no mercado. No entanto, a revisão já está ficando bastante longa. Os plug-ins para JIRA ( TM4J , Zephyr , Xray , TestFLO etc.) não foram incluídos nele, porque estes são pássaros de vôo diferente. JIRA, embora agora seja usado em muitos projetos, mas ainda não é uma panacéia. Portanto, este é um tópico para um artigo separado, não menos importante. Além disso, a TI de teste não caiu na armadilha, mas saiu recentemente quando a parte principal deste artigo já estava escrita. Talvez, durante esse tempo, mais sistemas tenham "nascido" ou já existam sistemas dignos de uma revisão - escreva nos comentários. Parece que as pessoas adoram programas de TV - escreva uma sequela!

Enquanto isso, proponho participar da discussão “Qual é o sistema de gerenciamento de testes no seu projeto?”.

(Entendo que esse nem sempre é o sistema "desejado", compartilhe sua dor: com a qual você trabalha e com o qual gostaria de trabalhar.)