Ein Beispiel für die Arbeit mit der ICE-Methode aus dem Produktmanager von Google und Microsoft

Das Arbeiten mit Prioritäten ist eine Aufgabe, die die Vorbereitung, Erfahrung und Berücksichtigung einer Vielzahl von Technologien, wissenschaftlichen Ansätzen sowie urheberrechtlichen Methoden erfordert.

Dieser Artikel ist eine Übersetzung von Material von Hackernoon.com. Der Autor bietet die Verwendung eines eigenen Tools zur Bewertung von Prioritäten im Rahmen des ICE-Scorings an. Dieser Artikel beschreibt den Ansatz im Detail und beschreibt ein einfaches und zugängliches Beispiel, das für jeden Produktmanager verständlich ist.



Itamar Gilad ist ein bekannter Produktmanagementberater und erfolgreicher Redner. In seiner langjährigen Erfahrung - leitende Positionen im Produktmanagement bei Google, Microsoft und anderen bekannten Unternehmen. Wir bieten eine Übersetzung seines Artikels an:

Angenommen, Sie verwalten ein Produkt für ein kleines Unternehmen und seine Kunden. Ihr Ziel ist es, die Kundenbindung und -bindung zu verbessern. Sie haben zwei Ideen auf der Tagesordnung:

• Implementierung der Hauptsymbolleiste (Dashboard), mit der der Geschäftsinhaber Engagement-Statistiken und alle Trends verfolgen kann.
• Chatbot (Chatbot) zur Automatisierung der Kommunikation mit Kunden.

Eine Idee mit einer Symbolleiste ist mehrmals in Verhandlungen mit Kunden entstanden, und Sie haben das Gefühl, dass sie ein gutes Potenzial hat, aber es besteht das Risiko, dass sie nur von erfahrenen Benutzern verwendet wird.

Die Idee mit einem Chatbot ist im gesamten Unternehmen angenehm und das Management ist sehr optimistisch. Außerdem sieht die Funktion für Kunden als gewinnbringend aus.

Was würdest du wählen?

Diese Priorisierungsprobleme bilden den Kern des Produktmanagements. Die Kosten für die falsche Wahl können sehr hoch sein und die Kosten für Entwicklung, Bereitstellung, Wartung und andere ungeplante Kosten umfassen.

Wir sind oft versucht, Entscheidungen auf der Grundlage nicht überzeugender Signale zu treffen: Mehrheitsmeinungen, Meinungen von Vorgesetzten, Branchentrends usw. Die Zeit zeigt jedoch, dass diese Signale auf der Ebene eines Zufallszahlengenerators genau sind.

In diesem Beitrag geht es meiner Meinung nach darum, die besten Ideen zu finden. Es besteht aus drei Teilen:

• ICE-Indikatoren
• Vertrauensniveau
• Zusätzliche Prüfung

ICE-Wertung

ICE Scoring ist eine Prioritätensetzungsmethode, die erstmals von Sean Ellis verwendet wurde, der für seine aktive Beteiligung an der Entwicklung von Unternehmen wie DropBox und Eventbrite und die Förderung des Begriffs Growth Hacking bekannt ist. ICE wurde ursprünglich entwickelt, um Wachstumsexperimente zu priorisieren, wurde jedoch bald zur Bewertung von Ideen verwendet.

Bei ICE bewerten Sie Ideen folgendermaßen:

• Der Einfluss zeigt, wie sich die Idee positiv auf den Schlüsselindikator auswirkt, den Sie verbessern möchten.
• Einfache Implementierung oder Einfachheit ist eine Einschätzung, wie viel Aufwand und Ressourcen erforderlich sind, um diese Idee umzusetzen.
• Das Vertrauen zeigt, wie sicher Sie bei der Bewertung der Auswirkungen und der einfachen Implementierung sind.

Die Werte im ICE werden auf einer Skala von 1 bis 10 bewertet, sodass alle Faktoren die Gesamtpunktzahl ausgleichen. Mit den Werten 1-10 kann man alles meinen, Hauptsache, die Werte stimmen überein.



Schauen wir uns nun ein Beispiel an, wie dies funktioniert.

ICE zuerst

Sie haben sich also entschieden, ICE-Punkte für zwei Ideen zu berechnen: Dashboard und Chatbot. In diesem frühen Stadium verwenden Sie Bruttobedeutungen ausschließlich auf der Grundlage Ihrer eigenen Intuition.
Auswirkung - Sie gehen davon aus, dass ein Dashboard die Benutzerbindung erheblich erhöht, aber nur erfahrene - Sie geben 5 von 10 Punkten. Ein Chatbot hingegen kann für viele Kunden eine innovative Lösung sein, also geben Sie ihm 8 von 10 Punkten.

Einfache Implementierung - Sie schätzen, dass 10 Mannwochen für das Dashboard und 20 für den Chatbot erforderlich sind. Später erhalten Sie bessere Schätzungen vom Team. Sie verwenden diese einfache Tabelle (von Ihnen und Ihrem Team ausgewählt), um Ihre Note in Leichtigkeit umzuwandeln:



Somit erhält die Symbolleiste einen einfachen Wert von 4 von 10 und ein Chatbot einen Wert von 2.

Berechnung des Vertrauens

Es gibt nur einen Weg, das Vertrauen zu berechnen - dies ist die Suche nach Belegen. Zu diesem Zweck habe ich ein Tool erstellt, das unten zu sehen ist. Es listet die allgemeinen Arten von Tests und Nachweisen auf, die Sie möglicherweise haben, und das Maß an Vertrauen, das sie bieten: Testergebnisse, Startdatum, persönliches Vertrauen, thematische Unterstützung, Meinungen anderer Personen, Marktdaten usw.

Überlegen Sie bei der Verwendung des Tools, welche Indikatoren Sie bereits haben, wie viele davon und was Sie benötigen, um mehr Vertrauen zu gewinnen.



Wenn in Ihrem Produkt oder Ihrer Branche ein weiterer Nachweis möglich ist, können Sie gerne eine eigene Version dieses Tools erstellen.

Kehren wir zum Beispiel zurück, um das Tool in Aktion zu bewerten.

Unterstützungsnachweise für einen Chatbot: persönliches Vertrauen (Sie halten dies für eine gute Idee), thematische Unterstützung (die Branche hält dies auch für eine gute Idee) und die Meinungen anderer (Ihre Vorgesetzten und Kollegen halten dies für eine gute Idee). Dies ergibt einen allgemeinen Konfidenzwert von 0,1 von 10 oder ein Konfidenzniveau nahe Null. Das Tool betrachtet Meinungen eindeutig nicht als verlässlichen Indikator.

Was ist mit Dashboard? Hier gibt es persönliches Vertrauen (Sie halten dies für eine gute Idee) und gelegentliche Unterstützung (mehrere Kunden haben darum gebeten). Dies erhöht tatsächlich seinen Konfidenzwert auf 0,5 von 10, was ein geringes Konfidenzniveau darstellt. Leider sagen Kunden ihr zukünftiges Verhalten nicht gut voraus.

ICE-Wertung in diesem Fall:



An diesem Punkt sieht die Symbolleiste wie die beste Idee aus, aber unser Tool zeigt, dass Sie nicht über das geringe Vertrauen hinausgegangen sind. Es gibt einfach nicht genug Informationen, um eine Entscheidung zu treffen.

Validierung und Machbarkeit

Als nächstes treffen Sie sich mit Ihren Kollegen, die für die Entwicklung und UX verantwortlich sind, und beginnen gemeinsam, beide Ideen zu bewerten. Beide Projekte scheinen auf den ersten Blick machbar. Der Hauptentwickler bietet eine grobe Schätzung der Arbeitskosten: Die Arbeit mit der Symbolleiste dauert 12 Personenwochen für die Veröffentlichung und mit einem Chatbot 16 Personenwochen. Entsprechend Ihrer Ease-Skala erleichtert dies die Implementierung in 4 bzw. 3.

Parallel dazu führen Sie detaillierte Berechnungen durch. Bei näherer Betrachtung sieht das Dashboard etwas weniger vielversprechend aus und erhält 3. Der Chatbot sieht immer noch 8 an.
Die Verwendung des Vertrauenswerkzeugs zeigt, dass beide Ideen jetzt den Estimates & Plans-Test bestehen und Vertrauen gewinnen. Jetzt bewegt sich die Symbolleiste auf 0,8 und der Chat-Bot auf 0,4.



Chatbot hat sich ein bisschen rehabilitiert. Das Vertrauensniveau ist jedoch aus gutem Grund gering - dies sind hauptsächlich Zahlen aus dem Nichts, und Sie verstehen, dass mehr Beweise gesammelt werden müssen.

Marktdaten

Sie senden einen Fragebogen an bestehende Kunden und bitten diese, eine von fünf möglichen neuen Funktionen auszuwählen, darunter einen Chatbot und eine Symbolleiste. Erhalten Sie Hunderte von Antworten. Die Ergebnisse sind für den Chatbot sehr positiv - dies ist Funktion Nr. 1 im Fragebogen, und 38% der Befragten wählen sie. Dashboard belegt mit 17% der Stimmen den 3. Platz.

Dies gibt beiden Funktionen Marktunterstützung, aber der Chatbot-Score ist 1,5 höher. Für das Bedienfeld stieg das Vertrauen ebenfalls, jedoch nur auf 1.



Offensichtlich hat der Chatbot viel Fortschritte gemacht. Es scheint, dass sich Ihre Kollegen und Branchendaten als richtig erwiesen haben. Sollten diese Daten als 100% akzeptiert werden? Wahrscheinlich nicht - das Projekt ist ziemlich teuer, und wir alle haben dieses durchschnittliche Vertrauen. Leider geben die Umfrageergebnisse kein sehr aufschlussreiches Signal. Wir arbeiten weiter.

Wort an die Kunden

Um mehr zu erfahren, führen Sie eine benutzerdefinierte Studie an 10 bestehenden Kunden durch und zeigen ihnen interaktive Prototypen beider Funktionen. Parallel dazu führen Sie Telefoninterviews mit 20 Umfrageteilnehmern durch, die eine der beiden vorgeschlagenen Funktionen ausgewählt haben.

Die Studie zeigt ein interessanteres Bild:

• 8 von 10 Studienteilnehmern fanden das Dashboard nützlich und sagten, sie würden es mindestens einmal pro Woche verwenden. Ihr Verständnis dieser Funktion korrelierte gut mit dem, was Sie ursprünglich gedacht hatten, und sie hatten keine Probleme damit. Telefoninterviews bestätigten das Verständnis und den Wunsch, die Funktion durchschnittlich einmal pro Woche zu nutzen.
• 9 von 10 Studienteilnehmern gaben an, bereit zu sein, den Chatbot zu verwenden. Ihre Begeisterung war sehr hoch - jeder verstand sofort, warum dies nützlich sein könnte, und viele fragten ihn so schnell wie möglich. Es gab jedoch Probleme mit der Benutzerfreundlichkeit, und einige Kunden äußerten sich besorgt darüber, dass ihre Kunden die wiederholten und "abgedroschenen" Antworten des Bots nicht mögen würden.

Diese Qualitätsstudie gibt Ihnen mehr Denkanstöße. Die Symbolleiste scheint beliebter zu sein als erwartet. Chatbot sieht jetzt eher aus wie ein Projekt mit einem hohen Risiko und einem hohen Preis. In Anbetracht unseres Vertrauenswerkzeugs weisen Sie Symbolleisten und Chatbot-Vertrauenswerte von 3 bzw. 2,5 zu.

Sie konfigurieren den Effekt folgendermaßen: 6 für ein Dashboard und 9 für einen Chatbot. Basierend auf Usability-Untersuchungen stellen Sie schließlich fest, dass das Erhalten einer hochwertigen Benutzeroberfläche für einen Chatbot mehr Arbeit erfordert - Sie reduzieren die Benutzerfreundlichkeit auf 2.



Die Tabelle wurde erneut geändert, und jetzt befindet sich die Symbolleiste an der Spitze.
Sie bringen Ergebnisse in Ihr Team und Ihre Führung. Laut ICE-Ergebnissen sollte die Symbolleiste zum Gewinner erklärt werden. Andererseits sind die Vertrauensindikatoren für beide Funktionen alles andere als hoch. Das Team möchte eine potenziell gute Funktion nicht loslassen und beschließt, beide weiterhin zu testen.

Abschlusstests und Gewinner!

Sie beschließen, zunächst eine Chatbot-Version für ein Minimum Viable Product (MVP) zu erstellen. Die Entwicklung dauert 6 Wochen, und Sie führen MVP für 200 Befragte aus, die sich bereit erklärt haben, am Test teilzunehmen. 167 Personen aktivieren die Funktion, aber ihre Nutzung nimmt jeden Tag stark ab, und am Ende der zweiten Woche haben Sie nur 24 aktive Benutzer.

In nachfolgenden Umfragen ergibt sich ein klares Bild: Der Chatbot ist schwieriger zu verwenden, viel weniger nützlich als von den Teilnehmern erwartet und, noch schlimmer, für Kunden, die Wert auf persönlichen Kontakt legen, negativ.

Sie können den MVP-Chatbot verfeinern und für Ihre Kunden viel nützlicher machen, dies dauert jedoch etwa 40 bis 50 Mannwochen.

Es ist auch offensichtlich, dass weit weniger Kunden als bisher erwartet die Funktion als nützlich bezeichnen würden. Daher reduzieren Sie die Auswirkung von 9 auf 2. Dadurch wird die Funktion erheblich geändert, sodass Sie den Ergebnissen der Benutzerforschung nicht mehr vertrauen können. Reduzieren Sie die Vertrauenswürdigkeit daher mithilfe des Vertrauenswerkzeugs auf 0,5.

Sie starten MVP-Symbolleisten auf 200 anderen Clients innerhalb von 5 Wochen. Die Ergebnisse sind sehr gut: 87% der Teilnehmer nutzen diese Funktion, viele von ihnen täglich. Das Feedback ist überwiegend positiv. Sie verstehen, dass die Auswirkungen höher sind als erwartet - 8 statt 6 Punkte. Das Entwicklungsteam schätzt, dass es weitere 10 Personenwochen dauern wird, bis die Symbolleiste vollständig gestartet ist, sodass die Implementierung einfacher wird. 4. Dadurch erhöhen Sie die Vertrauensbewertung von 3 bis 6.5.



Die Priorisierung wird an dieser Stelle sehr einfach. Jetzt sind sich alle einig, dass das Dashboard die richtige Funktion für die Produktentwicklung ist. Sie behalten die Chatbot-Funktion in Ihrer Ideenbank, aber sie bleibt angesichts des niedrigen ICE natürlich "ganz unten".

Schlussfolgerungen

1. Hören Sie auf, in schlechte Ideen zu investieren
Unser Beispiel zeigt, wie riskant es ist, auf Funktionen zu setzen, die viel Aufwand erfordern und auf Gefühlen, Meinungen, Branchendaten, Markttrends usw. basieren. Die meisten Ideen erweisen sich tatsächlich als viel weniger nützlich und teurer als wir denken, bevor wir sie entwickeln. Der einzige wirkliche Weg, um die besten Ideen zu finden, besteht darin, sie zu testen und die Unsicherheit zu verringern.

2. Sorgen Sie sich um die Vorteile, nicht um die Ergebnisse.
Das Hinzufügen eines Priorisierungsschritts für Features reduziert die Geschwindigkeit der Produktentwicklung - dies scheint auf den ersten Blick so zu sein. Aber eigentlich nimmt es nicht ab, sondern erhöht die Geschwindigkeit. Dank der Einschätzung des Vertrauens machen Sie einfach keine schlechten Eigenschaften. Es konzentriert das Team auch auf bestimmte kurzfristige Ziele und erhöht die Teamproduktivität. Dieser Prozess ermöglicht es uns, mehr über das Produkt, die Verbraucher und den Markt zu erfahren und letztendlich ein besseres Produkt zu erhalten, das bereits an echten Benutzern getestet wurde. Daher erwarten uns am Starttag weniger Überraschungen.

3. Ermutigen Sie eine Vielzahl von Ansätzen
Tatsächlich müssen wir uns oft nicht zwischen zwei Ideen entscheiden, sondern zwischen Dutzenden. Wir reduzieren die Kosten für die Entwicklung einer Idee, die auf dem Vertrauen in sie basiert. Dies ermöglicht es uns, viele verschiedene Ideen parallel zu testen und die Fallstricke zu vermeiden, die mit der traditionellen langfristigen Planung verbunden sind.



In diesem Beispiel testet das Team 4 Ideen parallel und führt mehrere Projekte (gelbe Kästchen) durch, von denen jedes die Idee schrittweise verfeinert und testet, um das Vertrauen zu erhöhen.

4. Ermitteln Sie den Standort des Managements und der Stakeholder
Wenn ich diese Methode erkläre, sind die Leute normalerweise am meisten besorgt darüber, wie sie die Zustimmung ihres Managements und ihrer Stakeholder einholen können, um einen solchen Priorisierungsprozess zu implementieren.

Können wir ihre Macht über das Produkt begrenzen? Sie werden überrascht sein. Ich habe viel von Managern gehört, dass sie aufgrund des Mangels an starken Optionen gezwungen sind, in den Prozess der Produktentscheidung einzutauchen. Eine schwache oder starke Option ist natürlich ein subjektives Konzept, aber bis Sie die reale Situation mit echten Beweisen und einem klaren Maß an Vertrauen in die Bewertung eines Features sehen.

Wenn der CEO Sie das nächste Mal dazu zwingt, Ihre Superidee zu verwirklichen, zeigen Sie ihm, wie die Idee anhand von Einfluss-, Aufwand- und Vertrauensfaktoren bewertet wird, wie ICE-Indikatoren für diese Idee mit Indikatoren für andere Ideen verglichen werden und wie wir sie testen können sie, um den Vertrauensfaktor zu klären.

In unserem letzten Artikel „ RICE- und ICE-Bewertung: Einfache Priorisierungstechniken für fortgeschrittene Produktmanager “ können Sie sich über die Mängel der ICE-Methode sowie über eine alternative Priorisierungsmethode informieren .

War dieser Artikel für Sie hilfreich? Möchten Sie die Materialien dieses Autors lesen? Bitte teilen Sie dies in den Kommentaren.