Aber mache ich nicht wieder Bullshit? Wie und warum werden Qualitätsmetriken implementiert?

Hallo Habr! Sobald wir die Metrik "Es scheint besser zu sein" verwendet haben, um die Qualität unserer Veröffentlichungen zu bewerten. Aber dann haben wir uns entschlossen, auf etwas Zuverlässigeres zu vertrauen. In diesem Artikel werde ich darüber sprechen, wie ich nach einem Metrikleitfaden gesucht, ihn nicht gefunden und meinen eigenen erstellt habe.



Kommt es vor, dass Sie scheinbar nützliche Arbeit für ein Projekt leisten, aber nicht verstehen, ob dies Vorteile bringt? Wir haben also einmal Autotests geschrieben, konnten aber nicht objektiv sagen, ob die Veröffentlichungen des Monolithen und anderer Dienste, bei denen die aktive Entwicklung besser ist, besser geworden sind.

Auf der Suche nach Metriken

Ich habe im Internet gesucht und aus irgendeinem Grund keine Artikel oder vorgefertigten Anleitungen gefunden, wie man die richtigen Metriken auswählt, wie man sie sammelt und was man als nächstes damit macht. Aber während ich nach Informationen suchte, fand ich nützliche Videos und Artikel, die mir bei der Bewältigung dieser schwierigen Aufgabe halfen. Links zu ihnen werden im Artikel angezeigt.

Ich hoffe, dieser Artikel ist nützlich für diejenigen, die darüber nachdenken, etwas an ihrem Projekt zu messen, aber nicht wissen, wo sie anfangen sollen. Der Artikel enthält persönliche Erfahrungen, Informationen aus Artikeln, Videos und kostenpflichtigen Kursen.

Wir implementieren ein Qualitätsmesssystem in 11 Schritten

Hier ist eine Checkliste mit 11 Schritten, mit denen Sie alles implementieren und nichts verpassen können.

Schritt 1. Definieren Sie den Zweck Ihrer Messungen

Verstehen Sie, warum Sie etwas messen möchten. Einfach so zu messen, macht aus Gründen der Messung keinen Sinn.

Zum Beispiel wollten wir wissen, wie wir uns den Qualitätszielen nähern, die wir uns zuvor gesetzt haben. Wir wollten auch die Dynamik der Indikatoren nach den Bemühungen sehen. Die Zahlen des aktuellen Zustands bedeuten für sich genommen nichts. Dies sind nur Zahlen. Wenn wir jedoch die Zahlen in der Dynamik beobachten, können wir den Einfluss unserer Handlungen erkennen.

Schritt 2. Ziele definieren

Sie müssen verstehen, wonach Sie streben. Testzeit reduzieren? Reduzieren Sie die Anzahl der kritischen Fehler im Produkt? Testabdeckung erhöhen?

In meinem Fall gab es keine Probleme bei der Festlegung von Zielindikatoren, da unser Unternehmen Qualitätsziele hat. Diese Ziele wurden zur Grundlage für zukünftige Metriken. Unsere Ziele:

• Eine Monolithfreisetzung dauert nicht länger als 4 Stunden.
• 0 Hotfixes und Rollbacks in Monolith-, Site- und mobilen Anwendungen.

Schritt 3. Legen Sie die Metriken fest

Überlegen Sie, wie Sie erkennen, dass Sie sich Ihren Zielen nähern.
In dieser Phase der Arbeit hat mir der Artikel „ Die wichtigsten QS-Metriken “ geholfen.


Wichtig! Nehmen Sie nicht viele Metriken gleichzeitig. Drei oder vier reichen für den Anfang. Wenn sich der Prozess verbessert, können Sie bei Bedarf weitere hinzufügen.

Viele Metriken sind schwer zu verwalten. Die Wahrscheinlichkeit wächst, dass das System nicht startet. Und wenn der Prozess nicht beim ersten Mal startet, wird es beim nächsten Mal schwieriger, ihn zu starten, da Sie und die Mitarbeiter negative Erfahrungen haben.

Schritt 4. Entscheiden Sie sich für die Einheiten

Verschiedene Indikatoren können in verschiedenen Einheiten gelesen werden. Sie müssen sofort auswählen, dass alle Metriken eine Maßeinheit haben, da sonst Missverständnisse und Fehlinterpretationen auftreten können.

Wir haben Probleme mit diesem Artikel. Wir haben die Veröffentlichungszeit in Stunden einschließlich Nachtstunden, aber ohne Wochenenden gezählt. Gleichzeitig wurde der Zielwert in 4 Stunden freigegeben. Sehr oft gab es Situationen, in denen wir den Zweig release-xxx heute um 16:00 Uhr erstellt und am nächsten Tag um 10:00 Uhr beendet haben. In unserer Metrik wurden 18 Stunden angenommen, aber tatsächlich wurden aktive Aktionen nur 3 Stunden, wenn nicht weniger, ausgeführt.

Wenn wir auf diese Weise weiter gezählt hätten, hätten wir den Indikator „4 Stunden“ in unserer Metrik nie erreicht. Nachdem wir uns der Wahl gestellt, das Ziel auf 12 Stunden erhöht oder nur die Arbeitszeit berücksichtigt haben, haben wir uns für die zweite entschieden.

Schritt 5. Analyse der ausgewählten Metriken auf Eignung

In dem Video „ Simple Practice Testing Metrics “ schlug der Redner eine coole Methode zur Analyse von Eignungsmetriken vor. Sie müssen 9 Fragen für jede Metrik beantworten und eine Entscheidung treffen.


Nach einer so einfachen Analyse wird sofort klar, ob Sie diese Metrik benötigen oder nicht. Es gibt ein tieferes Verständnis der Metrik selbst und ihres Werts für das Unternehmen und Sie.

Schritt 6. Richten Sie die Metriken an den Stakeholdern aus

Zeigen Sie den ausgewählten Metriken ausgewählte Metriken an. Besprechen Sie die Einschränkungen, die Sie in der Analysephase herausgefunden haben, sowie Möglichkeiten, diese zu beseitigen oder zumindest zu reduzieren. Es ist besonders wichtig, die Zustimmung und Zustimmung derjenigen einzuholen, die diese Metriken sammeln und ausfüllen.

Ich habe meine Metriken in drei Schritten besprochen: mit Testern, Entwicklern und Produkt-Overs. Erst nachdem alle ausdrücklich zugestimmt hatten, dass diese Metriken die Qualität des Systems anzeigen, konnte ich mit dem nächsten Schritt fortfahren.

Schritt 7. Visualisieren Sie die Ergebnisse

Die Leute werden die Tabellen nicht lesen und die Dynamik nicht selbst beobachten. Daher müssen Sie auf die Sichtbarkeit achten.

Ich habe eine Tabelle in Google Sheets erstellt, Formeln geschrieben und mich gefreut, die Tabelle meinen Kollegen präsentieren zu können. Unser CTO schlug vor, diese Metriken zu visualisieren. Genauer gesagt, um sicherzustellen, dass in 15 Sekunden der aktuelle Status des Systems klar ist: Ist es im Vergleich zum vorherigen Sprint besser geworden oder hat sich die Qualität verringert?

Gemeinsam haben wir die Indikatoren visualisiert. Dann bat ich die Leute zu erzählen, was sie auf dieser Karte sahen. Nach den Antworten zu urteilen, haben wir das Ziel erreicht.



So sieht die Visualisierung der Release-Qualitätsmetrik aus. Alles ist klar, Sie können sofort sehen, wie es jetzt ist und wie es war, ob die Anzahl der Probleme die Anzahl der Releases überschreitet, es ist im Vergleich zu früheren Releases besser oder schlechter geworden. In einem idealen Zeitplan sollte die blaue Linie gegen unendlich tendieren und die rote Linie sollte auf 0 gehen.


Visualisierung der Beziehung von „problematischen Releases“ zur Gesamtzahl der Releases

Schritt 8. Beobachten Sie die Häufigkeit der Erfassung von Metriken

Es ist wichtig, den Prozess des Sammelns von Metriken festzulegen, um an der Häufigkeit zu arbeiten. Wenn es keinen Prozess gibt, verliert Ihr Dashboard seine Relevanz und stirbt. Es ist wichtig, dass es Stakeholder gibt, die dies tun. Wenn Sie sich darüber Sorgen machen, ist die betroffene Person bereits da.

Schritt 9. Informieren Sie die Leute immer wieder über die Ergebnisse.

Egal wie schön Ihr Dashboard ist, die Leute werden nicht dorthin gehen und sich die Metriken ansehen. Sobald jeder sehen wird, ist dies etwas Neues, aber nicht auf kontinuierlicher Basis.

Schritt 10. Analysieren und Entscheidungen treffen

Sie müssen sich die Metriken ansehen und darauf basierende Entscheidungen treffen. Sie können Metriken als zusätzliches Argument verwenden, um zusätzliche Tests zu schreiben oder sich auf technische Schulden zu konzentrieren, anstatt auf Geschäftsfunktionen usw.

Schritt 11. Automatisieren

Automatisieren Sie die Erfassung von Metriken so weit wie möglich. Wenn Sie die gängigen Versionskontrollsysteme TaskMS und TestMS, CI / CD-Systeme, verwenden, verfügen höchstwahrscheinlich alle über eine offene API, mit der Sie diese Informationen problemlos abrufen können. Wenn Sie es nicht selbst tun können, bitten Sie die Entwickler um Hilfe. Möglicherweise müssen Sie hierfür einige Prozesse ändern. Es ist in Ordnung. Und dies ist ein niedriger Preis für die Vorteile, die Sie erhalten, wenn Sie mit dem Sammeln von Metriken beginnen.

Zum Beispiel haben wir einen Bot , der den Freisetzern hilft, die Freigabe zu würfeln und ihre Routine zu reduzieren.

Zusammenfassung und Schlussfolgerungen

Entscheidungen zu treffen, die die Qualität des Produkts aufgrund Ihrer inneren Gefühle beeinflussen, ist eine schlechte Idee. Gefühle können täuschen und Sie zur falschen Entscheidung bringen. Holen Sie sich also einfach das Metrik- und Qualitätsbewertungssystem.

Aber denken Sie daran, dass eine metrische Einrichtung wie eine Einrichtung für Haustiere ist. Neben dem Gewinn aus der Kommunikation mit einem neuen Freund erhalten Sie eine gewisse Verantwortung und Verpflichtung gegenüber ihm. Beginnen Sie die Metriken daher bewusst mit einem Verständnis für ihre Notwendigkeit und Bereitschaft, die Schwierigkeiten zu überwinden, die Sie auf Ihrem Weg erwarten.