Choisir un système de gestion des tests en 2019

Malgré les énormes capacités des éditeurs de tableaux modernes, pour de nombreuses équipes de développement, la question se pose tôt ou tard d'introduire des outils (systèmes) spécialisés pour gérer le processus de test dans leurs projets. Lequel choisir?



Une telle question dans ma pratique a été posée plus d'une fois. Cela m'a incité à créer cet article de synthèse. À l'avenir, pour gagner un peu de temps pour nous-mêmes et tous ceux qui sont également confrontés à ce problème. Et même s'il n'y a pas de réponse à la fin de l'article (désolé pour le spoiler) , mais votre subconscient, très probablement, sera déterminé dès maintenant et au bon moment sur un projet spécifique vous dira la réponse.

Dans mes recherches, je suis tombé sur de nombreux articles similaires (dans l' un desquels j'ai emprunté la structure du tableau de comparaison), mais ils répertorient tous avec parcimonie les fonctions des sites de ces systèmes et 1-2 captures d'écran de l'interface et contiennent souvent des publicités cachées ou ouvertes d'un de ces outils. Mais je voulais tester chaque système «sur moi» et partager ouvertement ce que j'ai vu, parler de mes sentiments.


Ci-dessous le tableau comparatif final (cliquable), après quoi le lecteur, peu pressé de se retrouver, trouvera quelques mots sur chaque système.

Outils payants:

Testral
QA Touch
Collab de test
qTest Manager
PractiTest
Zephyr Standalone
Lodge d'essai
Easyqa

Outils open source:

Testlink
SquashTM
Kiwi TCMS

---

Important:
Les captures d'écran des interfaces sont cliquables et cachées sous un spoiler. Vous pouvez trouver encore plus de captures d'écran sur mon site Web . Personne n'aime l'auto-promotion, donc s'il y a des exemples d'articles ou un moyen d'ajouter rapidement et facilement des galeries d'images similaires à un article sur Habré, dites-le moi dans les commentaires ou dans un message personnel. Je vais essayer de refaire puis de supprimer cette remarque.

---

Testral

Site Web: www.gurock.com/testrail
Développeur: Gurock Software GmbH
Prix: TestRail Cloud 30 $ par utilisateur / mois (1-20 utilisateurs)

Plaît: interface pratique et intuitive; insertion rapide d'images; Balisage de texte Markdown; Ajout de champs personnalisés définir l'ordre d'affichage des champs de cas; la possibilité d'attribuer chaque cas (ou testran) à un utilisateur individuel; cas de copie et de déplacement rapides; regrouper plusieurs testranes dans un plan de test; intégration rapide avec bugtrackers (par URL de suivi ou en utilisant des plugins); exportation des cas et des rapports aux formats XML et CSV; Capacités API étendues pour l'intégration avec vos systèmes internes (synchronisation des informations dans les cas, sauvegarde des résultats des tests, etc.); rapports visuels; formes d'impression soignées; Lors de la création d'un projet, vous pouvez choisir trois types de structures pour stocker les cas de test (dont l'un vous permet de diviser les cas en branches qui correspondent au développement).

Pas content: pas d'exigences intégrées; pas de suivi des bogues; le prix est assez élevé (surtout pour les petites entreprises).

QA Touch

Site Web: www.qatouch.com
Développeur: DCKAP
Prix: Professionnel 69 $ pour 50 utilisateurs / mois

Plaisirs: larges opportunités disponibles et planifiées à un prix adéquat; belle interface utilisateur; bugtracker intégré et exigences; intégration avec les trackers de bogues externes JIRA, GitHub, GitLab; planification de la libération des testranes; il y a la possibilité de créer une réexécution (réexécution) avec des cas d'un certain statut; numérotation vocale et achèvement du texte du titre du cas et du bug; étapes de cas réutilisables.
Malheureusement, je n'ai pas pu essayer de faire une capture d'écran de certains composants du produit, car ils ne sont disponibles que dans les plans payants.

Pas content: les composants de cas (champs principaux, étapes, pièces jointes) sont répartis dans des onglets lors de l'édition; pas de mise en forme du texte; l'image, bien qu'elle puisse être ajoutée à une seule étape, mais seulement à une seule et en tant que fichier téléchargeable; pas de version de cas; les zones de texte des étapes et des résultats attendus, lors du changement manuel de leur taille, se perdent lors de l'édition (pas sur la même ligne); la forme de sélection des cas pour testran est légèrement différente lors de sa création et de sa modification; la liste des cas et des bogues comprend uniquement leur nom et leur ID (pour un aperçu rapide de la liste, des champs personnalisés supplémentaires ne seraient pas superflus); la marque d'état pendant la course est également placée sur un onglet distinct des informations générales du cas; il y a de petits bancs dans les données affichées (le nombre total de cas sur le tableau de bord et l'étrange champ "Assigné à" - j'attribue cela au fait que je me suis inscrit cette année-là, depuis lors, le vendeur l'a considérablement complété ).

Collab de test

Site Web: testcollab.com
Développeur: Test Collab
Prix: Startups à partir de 25 $ par utilisateur / mois (plus de 50 utilisateurs - 10 $)

Plaît: une large configuration de notifications par courrier électronique (avec la possibilité de modifier des modèles de lettres); combiner des testranes dans des plans de test; belle interface avec des astuces (qui peuvent être désactivées); fonction d'étapes réutilisable; la possibilité de commenter le cas lors de l'édition; balises sélection du type de mise en forme du texte (Markdown, HTML / WYSIWYG, texte brut); Ajout de champs personnalisés modèles personnalisables pour sélectionner des cas dans testran; exigences intégrées; prix (pour les petits projets il y a un plan gratuit avec 200 caisses et 400 caisses terminées).

Pas content: vous ne pouvez pas éditer les champs système (en particulier Priority); il n'y a aucun moyen de sauvegarder les champs affichés dans les listes (lorsque les pages de mise à jour sont réinitialisées par défaut); il y a de petits défauts dans l'affichage des éléments de l'interface utilisateur; il n'y a pas de formulaires imprimés pour les cas ou pour les rapports (probablement maintenant ils sont rarement utilisés, mais d'autres outils offrent une telle fonction) ; les données d'un tableau de bord commun sont mises à jour avec un retard; exportation de cas pour un seul ensemble de tests (dans ce cas, les ensembles imbriqués ne traitent que l'exportation vers XML); insertion gênante d'images dans les étapes de l'affaire (via le lien); pas de traqueur de bogues.

qTest Manager

Site Web: tricentis.com
Développeur: Tricentis (acquis QASymphony en 2018)
Prix: à partir de 99 $ par utilisateur / mois (le prix est approximatif et dépend du nombre d'utilisateurs)

Heureux: configurer des champs système et ajouter des champs personnalisés à divers objets (avec la possibilité de prévisualiser cet objet et même de changer les couleurs pour l'état de l'exécution); historique informatif des changements de cas; éditeur HTML intégré dans les champs de texte du boîtier; commenter un seul cas; Vous pouvez vous abonner à un cas distinct et recevoir des notifications par courrier électronique sur les modifications; Une implémentation intéressante de la version automatique de cas (avec des composants majeurs et mineurs); fonction d'exécution rapide du boîtier (sans paramétrer l'état de chaque étape); exigences intégrées avec liaison de casse et indication de l'assembly cible; il existe également un suivi des bogues intégré; étuis réutilisables; configurations de testran personnalisables; de nombreuses possibilités d'intégration avec les bugtrackers et les services CI / CD; API pour une interaction encore plus flexible; requêtes de recherche stockées par cas, exigences, etc.; divers rapports; paramètres flexibles côté administrateur (utilisateurs, notifications, droits, groupes, etc.); projet intégré avec toutes les données pour vous familiariser avec les capacités du produit; plans de test.

Pas content: pas de formes imprimées de cas; exporter les cas uniquement au format Excel (mais il a un aspect lisible); visualisation légèrement gênante des images dans les étapes de l'affaire pendant la course; le site ne dispose pas d'informations sur le prix du produit (vous devez faire une demande séparée) et c'est impressionnant.

PractiTest

Site Web: www.practitest.com
Développeur: PractiTest
Prix: ENTREPRISE 49 $ par utilisateur / mois (minimum 3 utilisateurs)

Heureux: la possibilité de commenter le cas (test); balises (mots-clés) pour le test; saut rapide au numéro de test; génération de permutations de testranes (pour différents testeurs, versions); l'utilisation de paramètres dans les étapes du cas (avec la possibilité de changer la valeur pour chaque exécution); inclusion d'étapes (appel à tester) d'un cas dans un autre (parfois c'est vraiment nécessaire et il n'est pas nécessaire de sauter aux liens vers d'autres cas) ; intégration bidirectionnelle avec Jira et YouTrack (en créant un jeton d'API); Ajout de champs personnalisés tableau de statut kanban pour les cas; leur outil de suivi des bogues et leurs exigences (mais sans prendre de captures d'écran).

Pas content: UI / UX complexe dans son ensemble (en particulier, la division de la structure du cas en onglets: description et étapes sur différents onglets); la version imprimée maigre et non représentable des cas eux-mêmes et des rapports; bien qu'il existe un support pour le balisage de démarque, mais les images sont ajoutées aux étapes uniquement en tant que pièces jointes; vous ne pouvez pas changer le statut du cas entier si une étape n'est pas passée (c'est correct, mais parfois vous devez "verdir" tout le test) ; la liste des utilisateurs ne peut pas avoir la priorité de tri (tri alphabétique); prix (trop cher, même en tenant compte des caractéristiques uniques); supporte le widget de chat sur chaque page.
Le site Web de la société au moment de la publication n'était pas disponible auprès de l'IP russe, alors que la plate-forme Web ouvrait.

Zephyr Standalone

Site Web: www.getzephyr.com
Développeur: SmartBear Software
Prix: à partir de 50 $ par utilisateur / mois (prix tiré du passé, désormais non affiché sur le site)

Je suis heureux: une planification attrayante des étapes de test (similaire à un diagramme de Gantt) avec l'ajout et la personnalisation de divers travaux de test; exigences intégrées et suivi des bogues, qui, avec JIRA, s'intègrent de manière transparente avec elle (avec la possibilité de rechercher et d'afficher les tickets directement depuis Zephyr); il est possible d'ajouter des champs personnalisés aux objets (projet, cas, exigences), changer le nom et la couleur en statut de la course (le cas entier et une seule étape); Vous pouvez ajouter des widgets pour un projet avec différentes caractéristiques (diagrammes) qui seront mis à jour après un temps spécifié; exporter des cas au format HTML et PDF avec les champs nécessaires.

Pas content: interface inhabituelle, vous devez vous habituer à UX / UI pendant un certain temps; il n'y a pas de lien direct vers un cas distinct (uniquement via une requête de recherche, vous pouvez générer une URL pour celui-ci); le tableau de bord avec le widget d'aide ci-dessous n'est pas supprimé; Vous ne pouvez pas modifier les champs système; Les images des étapes de l'affaire ne peuvent être ajoutées que sous forme de pièces jointes à l'ensemble de l'affaire; affûtage uniquement sous JIRA; le prix doit être découvert sur demande (et uniquement par téléphone, ces informations ne sont pas fournies dans le message électronique) .

Lodge d'essai

Site Web: www.testlodge.com
Développeur: TestLodge Limited
Prix: 49 $ de base pour 600 cas / mois (abonnement par quantité de données)

Plaît: interface concise; création et sélection d'une configuration lors de la création d'un testran; intégration rapide avec les suiveurs de bogues populaires; créer un plan de test (avec un modèle par défaut); matrice de couverture (si les exigences sont maintenues à l'intérieur du produit); modèle d'abonnement par la quantité de données (pour certains projets, c'est un plus); définissez l'exportation au format HTML (c'est également un formulaire imprimé).

Pas content: il n'y a pas de division de l'affaire en différentes étapes; les champs personnalisés ne peuvent pas être déplacés au-dessus des champs système; une image ne peut être insérée qu'en tant que pièce jointe ou lien vers celle-ci; exportation des caisses uniquement chaque ensemble séparément; une suite de tests peut être spécifiée pour un seul plan de test; pas de traqueur de bogues.

Easyqa

Site Web: geteasyqa.com
Développeur: ThinkMobiles
Prix: 10 $ par utilisateur / mois

Agréable: la possibilité de surveiller et de tester des assemblages mobiles (fichiers APK et IPA), en s'intégrant aux référentiels GitHub ou GitLab; propre bug tracker avec la possibilité d'ajouter un plugin pour l'intégration avec d'autres systèmes (GitHub, GitLab, YouTrack, JIRA, RedMine, Pivotal Tracker, Trello); facilité d’utilisation (parfois c’est un plus) avec les objets de test (plans, testranes, cas de test, rapports); comparaison visuelle des champs lors de l'exportation de cas à partir d'un fichier CSV (mais nécessite de l'attention, vous pouvez entrer dans un cycle d'exportation sans fin).

Pas content: il n'y a aucun moyen de personnaliser au moins les objets; il n'y a pas de résultat attendu pour chaque étape du dossier; dans les cas où vous ne pouvez pas formater le texte et joindre des images; il y a des questions sur l'interface utilisateur à certains endroits (en particulier lors de l'affichage des tableaux); n'a pas reçu de lettre d'invitation pour le deuxième participant au courrier provenant d'un domaine personnel; vous ne pouvez pas modifier les droits des rôles (+ n'a pas pu modifier le rôle de projet pour un utilisateur non reconnu).
A en juger par l'activité sur les réseaux sociaux et le blog sur le site, ils ont suspendu le développement.

---

Les systèmes gratuits en attirent beaucoup par l'absence de frais mensuels. Mais ils nécessiteront certainement certains coûts. Tout d'abord, la location d'hébergement (ressources informatiques). Deuxièmement, les coûts de main-d'œuvre de l'administrateur système pour installer, configurer et maintenir les performances du système. Mais vous pouvez déjà avoir un serveur (ou une petite machine virtuelle), et la disponibilité d'images Docker prêtes à l'emploi simplifie le déploiement, donc le démarrage d'un système gratuit à partir de zéro peut être plus facile que l'enregistrement avec un système payant (j'exagère, bien sûr, mais il y a une blague dans chaque blague ) Ajoutez à cela la tendance du «contrôle total» des données, et les produits open source deviennent plus attrayants pour la mise en œuvre. J'ai examiné trois de ces systèmes: TestLink, SquashTM et Kiwi TCMS.

---

Testlink

Site Web: testlink.org
Langage de développement: PHP

Satisfait: exigences intégrées et suivi à travers les cas; divers rapports textuels; la possibilité d'ajouter des champs personnalisés; personnalisation flexible des rôles d'utilisateur; intégration avec bugtrackers (JIRA, YouTrack, GitLab, Bugzilla, etc.); testlid peut en outre définir l'urgence pour chaque cas dans testran, ce qui affectera l'ordre des cas; gestion de la liste des plateformes testées; inventaire des hôtes (un peu, mais sympa) ; Éditeur HTML avec la possibilité d'insérer des images, des liens, des tableaux, des listes; à mon avis, l'outil Open Source le plus populaire avec de nombreuses instructions et articles sur la configuration et l'utilisation; la présence d'une ressource de développement dans le langage PHP vous permet d'adapter le produit à vos besoins (si les fonctions standards semblent insuffisantes ou s'avèrent peu pratiques).

Pas content: une petite interface addictive; vous devrez bricoler la configuration de certains composants pour un fonctionnement complet (réglage fin des fichiers de configuration, envoi de courrier, intégration avec un tracker de bug); dans les fenêtres de texte de l'éditeur HTML, la vérification orthographique standard du navigateur ne fonctionne pas; il est impossible de modifier les champs système et l'ordre dans lequel ils sont affichés sur le formulaire de cas; changement manuel de l'ordre des étapes (vous devez entrer des nombres, au lieu de glisser-déposer); l'attribution de cas pour testran (build) après avoir payé des outils semblera gênant.

SquashTM

Site Web: www.squashtest.org
Langage de développement: Java

Ravi: gestion des exigences en référence aux cas de test; Éditeur HTML utilisation de paramètres dans les étapes et conditions préalables; la possibilité de créer un cas de test avec un script Gherkin ( BDD ); Fonction UI de pliage du contenu des étapes de l'affaire; il existe un mode pour exécuter les cas avec l'affichage du site Web testé dans le cadre (dans la plupart des cas, il n'est plus pertinent, mais il existe une telle possibilité); utilisation d'un cas existant (appelez un cas de test); Ajout de champs personnalisés aux objets différenciation des couleurs des composants du produit; un indicateur d'état de la couleur dans la bibliothèque de cas semblait également pratique; plugins pour l'intégration avec les trackers de bogues JIRA et Mantis; il existe une documentation détaillée (bien que certaines sections soient dans le mauvais ordre) .

Pas content: pour joindre une image dans la pièce jointe, vous devez d'abord ajouter des extensions pour ces fichiers à la liste blanche des paramètres système (par défaut png et jpg sont manquants); les champs système (catégorie et priorité) ne peuvent pas être modifiés; vous ne pouvez pas modifier les sept rôles de droits d'accès disponibles (cependant, 7 niveaux sont souvent suffisants); Je n'ai pas pu générer de rapports (j'ai appris des journaux qu'il y avait un problème avec l'initialisation de la classe); terminologie inhabituelle pour les plans de test et les testranes (ici, ils sont appelés campagne et itération); Onglet UI.

Kiwi TCMS

Site Web: kiwitcms.org
Langage de développement: Python

Satisfait: configuration flexible des droits des groupes d'utilisateurs; intégration avec les trackers de bogues JIRA, Bugzilla, GitHub et GitLab; fonctionnement rapide du système; Balisage de texte Markdown avec la possibilité de prévisualiser rapidement; la possibilité de connecter des plugins (certains, cependant, uniquement dans les plans de développement) pour collecter les résultats des autotests; API externe documentation produit détaillée; Développement actif de nouvelles fonctionnalités et plans pour l'avenir.

Pas content: dans le test, il n'y a pas de division en étapes séparées; certains compteurs de l'interface utilisateur ne sont pas mis à jour une fois l'action terminée (vous devez actualiser la page); propre orthographe dans un éditeur de texte; un rapport sur les cas créés (mais prévoit d'en ajouter quelques autres); pas de division en projets au sein du système.

Conclusion

Ce n'est qu'une petite partie des systèmes disponibles sur le marché. Cependant, l'examen devient déjà assez long. Les plugins pour JIRA ( TM4J , Zephyr , Xray , TestFLO , etc.) n'y étaient pas inclus, car ce sont des oiseaux de vol différent. JIRA, bien qu'il soit maintenant utilisé sur de nombreux projets, mais ce n'est toujours pas une panacée. Par conséquent, c'est un sujet pour un article distinct, rien de moins. De plus, Test IT n'est pas tombé sous le coup du pistolet, mais il est sorti récemment lorsque la partie principale de cet article a déjà été écrite. Peut-être, pendant ce temps, plus de systèmes sont "nés" ou il en existe déjà dignes d'être examinés - écrivez dans les commentaires. Il semble que les gens aiment les émissions de télévision - écrivez une suite!

En attendant, je propose de participer à la discussion «Quel est le système de gestion des tests sur votre projet?».

(Je comprends que ce n'est pas toujours le système «souhaité», alors partagez votre douleur: avec laquelle vous travaillez et avec laquelle vous aimeriez travailler.)