Wahl eines Testmanagementsystems im Jahr 2019

Trotz der enormen Fähigkeiten moderner Tabelleneditoren stellt sich für viele Entwicklungsteams früher oder später die Frage, spezielle Tools (Systeme) einzuführen, um den Testprozess in ihren Projekten zu verwalten. Welches soll ich wählen?



Eine solche Frage wurde in meiner Praxis mehr als einmal gestellt. Dies veranlasste mich, diesen Übersichtsartikel zu erstellen. In Zukunft, um ein wenig Zeit für uns und alle, die ebenfalls mit diesem Problem konfrontiert sind, zu sparen. Und selbst wenn es am Ende des Artikels keine Antwort darauf gibt (Entschuldigung für den Spoiler) , aber Ihr Unterbewusstsein wird höchstwahrscheinlich sofort bestimmt und Ihnen zur richtigen Zeit in einem bestimmten Projekt die Antwort geben.

Bei meinen Recherchen bin ich auf viele ähnliche Artikel gestoßen (von denen ich mir die Struktur einer Vergleichstabelle geliehen habe), aber alle listen sparsam Funktionen von den Sites dieser Systeme und 1-2 Screenshots der Benutzeroberfläche auf und enthalten häufig versteckte oder offene Werbung für eines dieser Tools. Aber ich wollte jedes System „an mir selbst“ testen und offen teilen, was ich sah, über meine Gefühle erzählen.


Unten finden Sie die endgültige Vergleichstabelle (anklickbar), nach der der Leser, der es nicht eilig hat, einige Wörter zu jedem System zu finden.

Bezahlte Werkzeuge:

Testral
QA Touch
Testen Sie die Zusammenarbeit
qTest Manager
Praktischer Test
Zephyr Standalone
Test Lodge
Easyqa

Open Source Tools:

Testlink
SquashTM
Kiwi TCMS

---

Wichtig:
Screenshots von Schnittstellen können angeklickt und unter einem Spoiler versteckt werden. Weitere Screenshots finden Sie auf meiner Website . Niemand mag Eigenwerbung. Wenn es also Beispiele für Artikel oder eine Möglichkeit gibt, einem Artikel über Habré schnell und bequem ähnliche Bildergalerien hinzuzufügen, sagen Sie es mir in den Kommentaren oder in einer persönlichen Nachricht. Ich werde versuchen, diese Bemerkung zu wiederholen und dann zu entfernen.

---

Testral

Website: www.gurock.com/testrail
Entwickler: Gurock Software GmbH
Preis: TestRail Cloud 30 USD pro Benutzer / Monat (1-20 Benutzer)

Erfreulich: bequeme und intuitive Oberfläche; schnelles Einfügen von Bildern; Markdown-Text-Markup; Benutzerdefinierte Felder hinzufügen Einstellen der Anzeigereihenfolge der Fallfelder; die Fähigkeit, jeden Fall (oder Testran) einem einzelnen Benutzer zuzuweisen; schnelles Kopieren und Verschieben von Fällen; Gruppieren mehrerer Testbahnen in einem Testplan; schnelle Integration mit Bugtrackern (per Tracker-URL oder mithilfe von Plugins); Export von Fällen und Berichten in XML- und CSV-Formaten; Umfangreiche API-Funktionen für die Integration in Ihre internen Systeme (Informationssynchronisation in Fällen, Speichern von Testergebnissen usw.); visuelle Berichte; ordentliche Druckformen; Beim Erstellen eines Projekts können Sie drei Arten von Strukturen zum Speichern von Testfällen auswählen (eine davon ermöglicht es Ihnen, Fälle in Zweige zu unterteilen, die der Entwicklung entsprechen).

Nicht glücklich: keine eingebauten Anforderungen; kein Bug-Tracker; Der Preis ist ziemlich hoch (besonders für kleine Unternehmen).

QA Touch

Website: www.qatouch.com
Entwickler: DCKAP
Preis: Professional $ 69 für 50 Benutzer / Monat

Pleases: breite verfügbare und geplante Möglichkeiten zu einem angemessenen Preis; schöne Benutzeroberfläche; eingebauter Bugtracker und Anforderungen; Integration mit externen Bug-Trackern JIRA, GitHub, GitLab; Release-Planung von Testranes; Es besteht die Möglichkeit, eine Wiederholung (Wiederholung) mit Fällen eines bestimmten Status zu erstellen. Sprachwahl und Textvervollständigung des Titels des Falls und des Fehlers; wiederverwendbare Fallschritte.
Leider konnte ich nicht versuchen, einen Screenshot einiger Komponenten des Produkts zu machen, weil Sie sind nur in bezahlten Plänen verfügbar.

Nicht glücklich: Fallkomponenten (Hauptfelder, Schritte, Anhänge) werden beim Bearbeiten auf Registerkarten verteilt. keine Textformatierung; das Bild, obwohl es zu einem einzelnen Schritt hinzugefügt werden kann, aber nur zu einem und als herunterladbare Datei; keine Fallversionierung; Textbereiche von Schritten und erwarteten Ergebnissen gehen beim manuellen Ändern ihrer Größe während der Bearbeitung verloren (nicht in derselben Zeile). Die Form der Auswahl der Fälle für Testran unterscheidet sich geringfügig beim Erstellen und Bearbeiten. Die Liste der Fälle und Fehler enthält nur deren Namen und ID (für einen schnellen Überblick über die Liste wären zusätzliche benutzerdefinierte Felder nicht überflüssig). Die Statusmarke während des Laufs wird auch auf einer anderen Registerkarte als die allgemeinen Informationen des Falls platziert. Die angezeigten Daten enthalten kleine Schwärme (die Gesamtzahl der Fälle im Dashboard und das seltsame Feld „Zugewiesen an“ - ich schreibe dies der Tatsache zu, dass ich mich in diesem Jahr registriert habe, seitdem hat der Anbieter es erheblich ergänzt ).

Testen Sie die Zusammenarbeit

Website: testcollab.com
Entwickler: Test Collab
Preis: Startups ab 25 USD pro Benutzer / Monat (über 50 Benutzer - 10 USD)

Bitte: eine breite Konfiguration von E-Mail-Benachrichtigungen (mit der Möglichkeit, Briefvorlagen zu bearbeiten); Kombinieren von Testranes zu Testplänen; schöne Oberfläche mit Hinweisen (die ausgeschaltet werden können); wiederverwendbare Schritte funktionieren; die Fähigkeit, den Fall während der Bearbeitung zu kommentieren; Tags Auswahl der Art der Textformatierung (Markdown, HTML / WYSIWYG, Nur-Text); Benutzerdefinierte Felder hinzufügen anpassbare Vorlagen zur Auswahl von Fällen in Testran; eingebaute Anforderungen; Preis (für kleine Projekte gibt es einen kostenlosen Plan mit 200 Fällen und 400 abgeschlossenen Fällen).

Nicht glücklich: Sie können keine Systemfelder bearbeiten (insbesondere Priorität). Es gibt keine Möglichkeit, die angezeigten Felder in Listen zu speichern (wenn das Aktualisieren von Seiten standardmäßig zurückgesetzt wird). Es gibt kleine Fehler in der Anzeige von UI-Elementen. Es gibt weder für Fälle noch für Berichte gedruckte Formulare (wahrscheinlich werden sie jetzt nur noch selten verwendet, aber andere Tools bieten eine solche Funktion) . Daten in einem gemeinsamen Dashboard werden verzögert aktualisiert. Export von Fällen für nur einen Testsatz (in diesem Fall verarbeiten verschachtelte Sätze nur den Export nach XML); unbequemes Einfügen von Bildern in die Schritte des Falls (über den Link); kein Bug-Tracker.

qTest Manager

Website: tricentis.com
Entwickler: Tricentis (erwarb QASymphony im Jahr 2018)
Preis: ab 99 USD pro Benutzer / Monat (der Preis ist ungefähr und hängt von der Anzahl der Benutzer ab)

Erfreut: Einrichten von Systemfeldern und Hinzufügen von benutzerdefinierten Feldern zu verschiedenen Objekten (mit der Möglichkeit, eine Vorschau dieses Objekts anzuzeigen und sogar die Farben für den Status des Laufs zu ändern); informative Falländerungshistorie; eingebauter HTML-Editor in den Textfeldern des Falls; einen einzelnen Fall kommentieren; Sie können einen separaten Fall abonnieren und Benachrichtigungen per E-Mail über Änderungen erhalten. Eine interessante Implementierung der automatischen Versionierung von Fällen (mit Haupt- und Nebenkomponenten); Funktion des schnellen Durchlaufs des Falls (ohne den Status für jeden Schritt festzulegen); integrierte Anforderungen mit Fallbindung und Angabe der Zielbaugruppe; es gibt auch eine integrierte Fehlerverfolgung; wiederverwendbare Fälle; anpassbare Testran-Konfigurationen; reichlich Möglichkeiten zur Integration sowohl mit Bugtrackern als auch mit CI / CD-Diensten; API für noch flexiblere Interaktion; gespeicherte Suchanfragen nach Fall, Anforderungen usw.; verschiedene Berichte; flexible Einstellungen auf der Administratorseite (Benutzer, Benachrichtigungen, Rechte, Gruppen usw.); eingebettetes Projekt mit allen Daten, um sich mit den Funktionen des Produkts vertraut zu machen; Testpläne.

Nicht glücklich: keine gedruckten Fälle; Exportieren von Fällen nur im Excel-Format (es sieht jedoch lesbar aus); etwas unbequemes Betrachten von Bildern in den Schritten des Gehäuses während des Laufs; Die Website enthält keine Informationen zum Preis des Produkts (Sie müssen eine separate Anfrage stellen) und ist beeindruckend.

Praktischer Test

Website: www.practitest.com
Entwickler: PractiTest
Preis: ENTERPRISE 49 USD pro Benutzer / Monat (mindestens 3 Benutzer)

Erfreut: die Fähigkeit, den Fall zu kommentieren (Test); Tags (Schlüsselwörter) für den Test; schneller Sprung zur Testnummer; Erzeugung von Permutationen von Testranen (für verschiedene Tester, Versionen); die Verwendung von Parametern in den Schritten des Falls (mit der Möglichkeit, den Wert für jeden Lauf zu ändern); Aufnahme von Schritten (Aufruf zum Testen) eines Falls in einen anderen (manchmal ist es wirklich notwendig und Sie müssen nicht zu Links zu anderen Fällen springen) ; bidirektionale Integration mit Jira und YouTrack (durch Erstellen eines API-Tokens); Benutzerdefinierte Felder hinzufügen Kanban Status Board für Fälle; ihren Bug-Tracker und Anforderungen (aber keine Screenshots mitgenommen).

Nicht glücklich: komplexe Benutzeroberfläche / UX als Ganzes (insbesondere die Aufteilung der Fallstruktur in Registerkarten: Beschreibung und Schritte auf verschiedenen Registerkarten); die magere, nicht präsentierbare Druckversion sowohl der Fälle selbst als auch der Berichte; Es gibt zwar Unterstützung für Markdown-Markups, aber Bilder werden den Schritten nur als Anhänge hinzugefügt. Sie können den Status des gesamten Falls nicht ändern, wenn ein Schritt nicht bestanden wurde (dies ist korrekt, aber manchmal müssen Sie den gesamten Test "grün" machen) . Der Benutzerliste kann nicht die Priorität der Sortierung zugewiesen werden (alphabetisch sortiert). Preis (überteuert, auch unter Berücksichtigung der einzigartigen Eigenschaften); Support-Chat-Widget auf jeder Seite.
Die Website des Unternehmens war zum Zeitpunkt der Veröffentlichung nicht über das russische IP verfügbar, während die Webplattform geöffnet wurde.

Zephyr Standalone

Website: www.getzephyr.com
Entwickler: SmartBear Software
Preis: ab 50 USD pro Benutzer / Monat (Preis aus der Vergangenheit, jetzt nicht auf der Website angezeigt)

Ich freue mich: attraktive Planung von Testphasen (ähnlich einem Gantt-Diagramm) mit Hinzufügung und Anpassung verschiedener Testarbeiten; integrierte Anforderungen und Bugtracking, die sich mit JIRA nahtlos in JIRA integrieren lassen (mit der Möglichkeit, Tickets direkt von Zephyr aus zu suchen und anzuzeigen); Es ist möglich, benutzerdefinierte Felder zu Objekten hinzuzufügen (Projekt, Fälle, Anforderungen), den Namen und die Farbe des Status des Laufs zu ändern (der gesamte Fall und ein einzelner Schritt). Sie können Widgets für ein Projekt mit verschiedenen Merkmalen (Diagrammen) hinzufügen, die nach einer bestimmten Zeit aktualisiert werden. Exportieren Sie Fälle im HTML- und PDF-Format mit den erforderlichen Feldern.

Nicht glücklich: ungewöhnliche Oberfläche, Sie müssen sich für eine Weile an UX / UI gewöhnen; Es gibt keinen direkten Link zu einem separaten Fall (nur über eine Suchabfrage können Sie eine URL dafür generieren). Das Dashboard mit dem Hilfe-Widget unten wird nicht entfernt. Sie können die Systemfelder nicht ändern. Bilder für die Schritte des Falls können nur als Anhänge zum gesamten Fall hinzugefügt werden. Schärfen nur unter JIRA; Der Preis muss auf Anfrage ermittelt werden (und nur telefonisch werden diese Informationen nicht in der elektronischen Nachricht angegeben) .

Test Lodge

Website: www.testlodge.com
Entwickler: TestLodge Limited
Preis: Grundpreis 49 USD für 600 Fälle / Monat (Abonnement nach Datenmenge)

Erfreulich: prägnante Schnittstelle; Erstellung und Auswahl einer Konfiguration beim Erstellen eines Testrans; schnelle Integration mit gängigen Bug-Trackern; Erstellen eines Testplans (mit einer Standardvorlage); Abdeckungsmatrix (wenn die Anforderungen im Produkt enthalten sind); Abonnementmodell nach Datenmenge (für einige Projekte ist dies ein Plus); Setzen Sie den Export auf HTML (es ist auch ein gedrucktes Formular).

Nicht glücklich: Es gibt keine Aufteilung des Falls in separate Schritte; Benutzerdefinierte Felder können nicht über Systemfelder verschoben werden. Ein Bild kann nur als Anhang oder Link dazu eingefügt werden. Export von Fällen nur jeder Satz separat; Eine Testsuite kann nur für einen Testplan angegeben werden. kein Bug-Tracker.

Easyqa

Website: geteasyqa.com
Entwickler: ThinkMobiles
Preis: 10 USD pro Benutzer / Monat

Erfreulich: die Möglichkeit, mobile Assemblys (APK- und IPA-Dateien) zu überwachen und zu testen und in GitHub- oder GitLab-Repositorys zu integrieren; eigener Bug-Tracker mit der Möglichkeit, ein Plugin für die Integration mit anderen Systemen hinzuzufügen (GitHub, GitLab, YouTrack, JIRA, RedMine, Pivotal Tracker, Trello); Benutzerfreundlichkeit (manchmal von Vorteil ) bei Testobjekten (Pläne, Testbereiche, Testfälle, Berichte); visueller Vergleich von Feldern beim Exportieren von Fällen aus einer CSV-Datei (erfordert jedoch Aufmerksamkeit, Sie können in einen endlosen Exportzyklus gehen).

Nicht glücklich: Es gibt keine Möglichkeit, Objekte zumindest irgendwie anzupassen. Es gibt kein erwartetes Ergebnis für jeden Schritt des Falls. in Fällen, in denen Sie keinen Text formatieren und keine Bilder anhängen können; An einigen Stellen gibt es Fragen an die Benutzeroberfläche (insbesondere beim Anzeigen von Tabellen). hat kein Einladungsschreiben für den zweiten Teilnehmer an die E-Mail von einer persönlichen Domain erhalten; Sie können die Rechte für Rollen nicht ändern (+ konnte die Projektrolle für einen nicht bestätigten Benutzer nicht ändern).
Gemessen an den Aktivitäten in sozialen Netzwerken und dem Blog auf der Website haben sie die Entwicklung ausgesetzt.

---

Freie Systeme ziehen viele durch das Fehlen einer monatlichen Gebühr an. Aber sie werden sicherlich bestimmte Kosten erfordern. Erstens Hosting-Vermietung (Computerressourcen). Zweitens die Arbeitskosten des Systemadministrators für die Installation, Konfiguration und Wartung der Systemleistung. Sie können jedoch bereits einen Server (oder eine kleine virtuelle Maschine) haben, und die Verfügbarkeit vorgefertigter Docker-Images vereinfacht die Bereitstellung. Daher kann das Starten eines kostenlosen Systems von Grund auf einfacher sein als das Registrieren bei einem kostenpflichtigen System (ich übertreibe natürlich, aber in jedem Witz steckt ein Witz ) Hinzu kommt der Trend zur „vollständigen Kontrolle“ von Daten, und Open Source-Produkte werden für die Implementierung attraktiver. Ich habe drei solcher Systeme überprüft: TestLink, SquashTM und Kiwi TCMS.

---

Testlink

Website: testlink.org
Entwicklungssprache: PHP

Pleases: integrierte Anforderungen und Verfolgung durch Fälle; verschiedene Textberichte; die Möglichkeit, benutzerdefinierte Felder hinzuzufügen; flexible Anpassung der Benutzerrollen; Integration mit Bugtrackern (JIRA, YouTrack, GitLab, Bugzilla usw.); testlid kann zusätzlich die Dringlichkeit für jeden Fall in testran festlegen, was sich auf die Reihenfolge der Fälle auswirkt. Verwaltung der Liste der getesteten Plattformen; Inventar der Gastgeber (eine Kleinigkeit, aber nett) ; HTML-Editor mit der Möglichkeit, Bilder, Links, Tabellen, Listen einzufügen; meiner Meinung nach das beliebteste Open Source-Tool mit vielen Anweisungen und Artikeln zum Einrichten und Verwenden; Das Vorhandensein einer Entwicklungsressource in der PHP-Sprache ermöglicht es Ihnen, das Produkt an Ihre Bedürfnisse anzupassen (wenn Standardfunktionen unzureichend erscheinen oder sich als nicht so praktisch herausstellen).

Nicht glücklich: eine kleine süchtig machende Oberfläche; Sie müssen an der Konfiguration einiger Komponenten für den vollständigen Betrieb basteln (Feinabstimmung der Konfigurationsdateien, Senden von E-Mails, Integration in einen Bug-Tracker). In den Textfenstern des HTML-Editors funktioniert die Standard-Rechtschreibprüfung des Browsers nicht. Es ist unmöglich, Systemfelder und die Reihenfolge, in der sie auf dem Fallformular angezeigt werden, zu bearbeiten. manuelle Änderung der Reihenfolge der Schritte (Sie müssen Zahlen eingeben, anstatt sie zu ziehen und abzulegen); Die Zuweisung von Fällen für Testran (Build) nach kostenpflichtigen Tools erscheint unpraktisch.

SquashTM

Website: www.squashtest.org
Entwicklungssprache: Java

Erfreut: Anforderungsmanagement in Bezug auf Testfälle; HTML-Editor Verwendung von Parametern in Fallschritten und Voraussetzungen; die Fähigkeit, einen Testfall mit einem Gherkin-Skript ( BDD ) zu erstellen; UI-Funktion zum Falten des Inhalts der Schritte des Falls; Es gibt einen Modus zum Ausführen von Fällen mit der Anzeige der getesteten Website im Frame (in den meisten Fällen ist dies nicht mehr relevant, aber es gibt eine solche Möglichkeit). Verwendung eines vorhandenen Falls (Testfall aufrufen); Hinzufügen von benutzerdefinierten Feldern zu Objekten Farbdifferenzierung von Produktkomponenten, ein Farbstatusindikator in der Fallbibliothek schien ebenfalls zweckmäßig; Plugins zur Integration in die Bug-Tracker JIRA und Mantis; Es gibt eine detaillierte Dokumentation (obwohl einige Abschnitte in der falschen Reihenfolge sind) .

Nicht glücklich: Um ein Bild im Anhang anzuhängen, müssen Sie zuerst Erweiterungen für solche Dateien zur weißen Liste der Systemeinstellungen hinzufügen (standardmäßig fehlen PNG und JPG). Systemfelder (Kategorie und Priorität) können nicht bearbeitet werden. Sie können die verfügbaren sieben Rollen von Zugriffsrechten nicht bearbeiten (7 Ebenen davon reichen jedoch häufig aus). Ich konnte einige Berichte nicht erstellen (ich habe aus den Protokollen erfahren, dass bei der Initialisierung der Klasse ein Problem aufgetreten ist). ungewöhnliche Terminologie für Testpläne und Testranes (hier werden sie Kampagne und Iteration genannt); Registerkarte Benutzeroberfläche.

Kiwi TCMS

Website: kiwitcms.org
Entwicklungssprache: Python

Erfreulich: flexible Konfiguration von Benutzergruppenrechten; Integration mit Bug Trackern JIRA, Bugzilla, GitHub und GitLab; schnelle Systembedienung; Markdown-Text-Markup mit der Möglichkeit einer schnellen Vorschau; die Fähigkeit, Plugins zu verbinden (einige jedoch nur in Entwicklungsplänen), um die Ergebnisse von Autotests zu sammeln; Externe API detaillierte Produktdokumentation; Aktive Entwicklung neuer Funktionen und Pläne für die Zukunft.

Nicht glücklich: Im Test gibt es keine Unterteilung in separate Schritte; Einige Leistungsindikatoren in der Benutzeroberfläche werden nach Abschluss der Aktion nicht aktualisiert (Sie müssen die Seite aktualisieren). eigene Rechtschreibung in einem Texteditor; ein Bericht über die erstellten Fälle ( plant jedoch , einige weitere hinzuzufügen); Keine Aufteilung in Projekte innerhalb des Systems.

Fazit

Dies ist nur ein kleiner Teil der auf dem Markt verfügbaren Systeme. Die Überprüfung wird jedoch bereits ziemlich lang. Plugins für JIRA ( TM4J , Zephyr , Xray , TestFLO usw.) waren nicht enthalten, weil Dies sind Vögel unterschiedlichen Fluges. JIRA wird zwar mittlerweile in vielen Projekten eingesetzt, ist aber kein Allheilmittel. Daher ist dies ein Thema für einen separaten, nicht weniger Artikel. Auch Test IT ist nicht unter die Lupe genommen worden, aber es kam kürzlich heraus, als der Hauptteil dieses Artikels bereits geschrieben wurde. Vielleicht wurden in dieser Zeit mehr Systeme "geboren" oder es gibt bereits Systeme, die einer Überprüfung wert sind - schreiben Sie in die Kommentare. Es scheint, dass die Leute TV-Shows lieben - schreiben Sie eine Fortsetzung!

In der Zwischenzeit schlage ich vor, an der Diskussion „Was ist das Testmanagementsystem in Ihrem Projekt?“ Teilzunehmen.

(Ich verstehe, dass dies nicht immer das „gewünschte“ System ist, dann teile deinen Schmerz: mit dem du arbeitest und mit dem du arbeiten möchtest.)