Ilya Krasinsky, CEO von Rick.ai, beantwortete auf der Epic Growth Conference Fragen von Produktmanagern im Q & A-Format.
Siehe die Entschlüsselung unter dem Schnitt.
Was ist eine effektive Technik zur Bewertung der Aussichten von Merkmalen?
Jede Funktion senkt immer die Metriken. Wir automatisieren ein bestimmtes Szenario menschlichen Verhaltens. Wenn der Prozentsatz der Personen, die die Vorteile der Funktion verstanden und genutzt haben, praktisch Null beträgt, ist der Wert der Funktion minimal.
Nach dem Start einer neuen Funktion im Produkt gibt es Nachteile: Der Datenbankcode wächst, neue Fehler und Defekte treten auf, Benutzer erhalten eine schwierigere erste Sitzung und die Aktivierung ist schwieriger.
Es gibt eine Bewertungstechnik. Sie nehmen einen Strom von Benutzern, die diese Funktion verwenden. So können Sie bewerten, um wie viel sich die Conversion und die Einnahmen eines bezahlten Benutzers ändern. Als Nächstes können Sie berechnen, welche Art von Cashflow eine neue Funktion für Sie bringen kann.
Wann sollte ich sagen "genug ist genug"? Oder müssen Sie springen und es versuchen, bis der Mangel an Finanzmitteln mein Startup stoppt?
Sehr oft wird die Entwicklung eines Unternehmens durch mangelnde Finanzierung behindert. In diesem Fall wird das Geschäft für Sie nicht zu einem Vermögenswert, sondern zu einem Koffer ohne Griff. Es ist schade, ihn fallen zu lassen, aber es ist auch schwierig, ihn zu ziehen.
Drücken Sie in dieser Situation das Maximum, bis Sie dieses „tote Pferd“ abschießen, denn beim nächsten Mal benötigen Sie zwei bis fünf Jahre, um Ihrem aktuellen Entwicklungspunkt näher zu kommen. Bestimmen Sie, welche Fähigkeiten und Erfahrungen Sie noch mitbringen können, und haben Sie keine Angst, Ballast loszuwerden.
Wann werden Ihrer Meinung nach mehr als 50% der Unternehmen (zumindest die IT) analog zu Rick.ai auf Roboteranalysen umsteigen? Was sind momentan die Haupthindernisse?
Die Hauptprobleme der aktuellen Analytik:
Eine große Anzahl von Unternehmen hat bereits einen Geschäftsbereich Big Data. Die überwiegende Mehrheit dieser Einheiten beschäftigt sich mit der Datenspeicherung, in der kleineren - der Zusammenstellung von Algorithmen. Zwischen Top-Managern, Produktmanagern und Data-Science-Analysten besteht normalerweise eine technologische Lücke. Geschäftsleute verstehen oft nicht, welche Frage sie an Analytics stellen sollen.
Grundsätzlich sind diese Daten nicht konsistent, dh sie enthalten bereits in der Erfassungsphase Fehler.
Die Analyse ist sehr fragil, es ist sehr leicht zu brechen. Dementsprechend ist die Schlüsselfrage, ob Sie über ein eingebautes Überwachungssystem für die Roboteranalyse verfügen.
Das Haupthindernis für den Übergang zur Roboteranalyse besteht darin, dass sich die Daten nicht in den von Ihnen verwendeten Systemen ansammeln und daher falsche Zahlen angeben. Daher werden alle Schlussfolgerungen und Managemententscheidungen auch eine Lüge sein.
Bis dieses Problem auf der Ebene der Integration und des Datenflusses gelöst ist, wird wahrscheinlich jeder seinen eigenen Todesstern sägen und glauben, dass es funktioniert. Ich habe bereits fünf solcher Systeme in meinem Leben gesehen, und jedes Mal fanden die Entwickler Fehler und Defekte in ihnen.
Mein Rat: Duplizieren Sie die Daten, damit Sie über verschiedene Analysesysteme verfügen und die Zahlen miteinander überprüfen können. Ein System ist sehr unzuverlässig, Fehler treten sehr leicht auf.
Was sind die Aussichten für ML in der Predictive Analytics?
Zwei Arten des maschinellen Lernens müssen unterschieden werden:
- Kompiliert in der Programmiersprache Python.
- Komponiert mit einer PowerPoint-Präsentation.
Der letztere Typ wird viel häufiger verwendet. Leider ist es in der Praxis sehr schlecht umgesetzt. Diese Präsentationen lassen sich nicht gut in ein funktionierendes Produkt übersetzen. Dementsprechend besteht das Hauptproblem des maschinellen Lernens darin, dass die Menschen am Ausgang eine Black Box sehen.
Ich glaube, dass Menschen solche Informationsflüsse lange Zeit nicht verarbeiten können. Ich sehe, was wir alle so machen: Entweder wird es Black Boxes geben, wie die Attributionsmodelle von Google, oder eine Art System, das die Daten analysiert und der Person erklärt, wie sie analysiert hat, was in diesem Abschnitt (Unternehmen) steht , Domain, Konvertierung).
Wie wahrscheinlich ist es, dass Tools Hypothesen testen, bevor Änderungen am Produkt vorgenommen werden?
Sie haben sie bereits: "Google-Tabellen" oder Excel.
Die meisten Hypothesen können keine einzelne Metrik ändern, können dem Benutzer nichts Gutes tun, sie müssen erstellt werden. Und wenn Sie von 50 Hypothesen sieben verlassen, haben Sie eine Chance auf Erfolg.
Im Jahr 2019 ist klar, dass eine Person immer noch schlechter als ein Taschenrechner hält. Aber es scheint, dass eine Person weiß, wie man nicht standardisierte Ideen entwickelt.
Welche Fragen stellen Sie dem Produkt beim Interview?
Der einfachste Weg: Sprechen Sie auf der Konferenz mit zehn Branchenfachleuten in einem Netzwerkformat. Sie erhalten eine Liste mit fünfzig Fragen. Lassen Sie die Fragen, die Sie mögen, und Sie erhalten eine Art Rahmen.
Wie ist es in unserem Team:- Eine Person muss ein hohes Maß an Energie haben. Wenn eine Person wenig Energie hat, ist das gesamte Team giftig.
- Eine Person muss systemisch und mit Erfahrung der Reflexion sein. Die Entwicklung einer systematischen Fähigkeit ist sehr teuer und zeitaufwändig. Es wird ganz einfach überprüft: Fragen Sie eine Person nach ihren früheren Erfahrungen, einschließlich der negativen, und welche Schlussfolgerungen sie aus dieser Erfahrung gezogen hat.
Ungefähr 50% der Menschen sagen: „Danke, tolle Frage! Ich werde darüber nachdenken. “ Dies bedeutet, dass sie im letzten Jahr, als diese Situation eintrat, diese Arbeit nicht ausgeführt haben. Sie haben keine solche Angewohnheit.
- Ein Mann sollte keine Angst haben. Im Laufe der Arbeit muss eine große Anzahl von Entscheidungen getroffen werden, höchstwahrscheinlich wird das Produkt falsch sein. Es ist wichtig, dass er keine Angst davor hat.
Wie kann der inkrementelle Effekt von Retargeting gemessen werden?
Triggeranalyse. Sie nehmen das Benutzersegment, sehen alle Benutzersitzungen und die Ereigniskette. Teilen Sie die Menschen in zwei Gruppen ein: diejenigen, die sich im Retargeting befinden, und diejenigen, die dies nicht tun.
In der Praxis müssen Sie verstehen, dass wir niemals die Aufgabe haben, etwas genau zu messen. Oft ist das einfach sinnlos. Wenn Ihre Investition in Retargeting geringer ist als der gerade beschriebene Arbeitsaufwand, ist die Analyse des Retargetings teurer als nur die Durchführung.
Sie benötigen ein genaues Attributionsmodell. Schauen wir uns die Konzepte an: Es ist nicht notwendig, dieses oder jenes Einkommen einer Werbekampagne genau zuzuordnen. Wir haben nur vier Managemententscheidungen:
- Deaktivieren Sie den Prozess, konvergieren Sie überhaupt nicht. wir geben zu viel aus, bekommen fast nichts;
- kann leicht modifiziert werden;
- nicht anfassen;
- zu stärken.
Warum würden Sie das Produkt abfeuern?
- Wenn sein Weltmodell nicht viel der Realität entspricht.
- Wenn seine Hypothesen schwach sind und schlecht mit unseren Benutzern korrelieren.
- Wenn Sie nicht mit Benutzern kommunizieren möchten.
- Wenn Sie keine Korridore bauen möchten, Zollhäuser.
- Wenn Sie Ihre Hypothesen nicht testen.
- Wenn Sie ein irrelevantes Toolkit verwenden.
- Dies bedeutet, dass er sich in den Schlussfolgerungen sehr irrt, nicht lernen will, richtig zu handeln, und einfach nicht den neuesten Rahmenbedingungen in der Branche folgt, was bedeutet, dass er zurückgeblieben ist.
Sie führen Experimente durch, 95% der Misserfolge, wenige Erfolge, ständig verderblich und Kopfschmerzen. Wie man ist
Eine Verschlimmerung tritt am Ende des Jahres auf. Am Ende des Jahres erinnern sich die Menschen an das Ziel, das sie sich gesetzt haben.
Die Bedeutung ist - Sie müssen verlieren können. Ich muss mich wiederholen: Es gab viele Experimente, also habe ich einfach nicht berücksichtigt und etwas nicht verstanden. Wir haben die Einheitsökonomie geändert, den Ansatz geändert, die Umstellung erhöht, aber dies bedeutet nicht, dass das Projekt in Ordnung sein wird.
Ermutigen Sie das Team zur Unterstützung und Betreuung. Eine der Fähigkeiten, die ich jetzt in mir selbst entwickle: Wie kann ich dem Produktmanager, Designer, Vermarkter und Analysten erklären, dass sie alles falsch gemacht haben, aber gleichzeitig, damit sie nicht aufgeben und am nächsten Tag mit den Worten zur Arbeit gehen: "Ok, das siebte Mal werden wir alles wiederholen und wir werden Erfolg haben."
Die coolsten Food-Teams in Russland?
Ich glaube, dass es viele davon gibt. Zum Beispiel Ultimate Guitar, Skyeng, RealtimeBoard. Hinter dem Erfolg solcher Unternehmen stehen nicht nur die ersten Personen, die in der Öffentlichkeit bekannt sind, sondern auch die Künstler, die jeden Tag hervorragende Arbeit leisten.
Es ist cool, mit ihnen befreundet zu sein. Es ist nur ein kostenloser Zug, in dem Sie neue Ideen, Bücher und Frameworks erhalten. Es scheint mir daher eine der wichtigsten Aufgaben zu sein, mich mit einer solchen Liste von Menschen zu umgeben.
Engere Produktkompetenzpraktiken beim
Epic Workshop Day .