Selbst in sehr großen Unternehmen behandeln sie Entwickler oft wie Pilze: Sie werden im Dunkeln gehalten und mit Gülle gefüttert. Schreiben Sie den Code, Familie, und strecken Sie nicht den Kopf aus. Dieser Ansatz mag für viele praktisch sein (manchmal auch für die Entwickler selbst, wenn das Management nicht sehr angemessen ist), ist jedoch aus geschäftlicher Sicht nicht optimal. Meine Position: Entwickler sollten in der Lage sein, alles zu lernen, was im Unternehmen und auf dem Markt passiert, aber ohne Druck. Gesucht - er grub und fand heraus, wollte nicht - nicht.
Es ist selten, dass ein Entwickler nicht verstehen möchte, warum und was er tut. Nur wenige, die die Auswirkungen implementierter Funktionen auf die Welt nicht sehen möchten. Komm schon, seien wir ehrlich: Wir sind alle hier, entweder wegen des Geldes oder wegen der Fähigkeit, etwas Sinnvolles zu tun. Überall ist Geld. Interessante Projekte sind jedoch seltener.
Ich möchte den Prozess der Organisation solcher Informationen im Tutu.ru-Team teilen. Vielleicht scheint es für einige ein Bildungsprogramm zu sein, aber für jemanden wird es nützlich sein. Oder du sagst mir, wie ich es besser machen kann.
Allgemeine Position
- Das Entwicklungsteam soll so weit wie möglich mitteilen, was auf dem Markt geschieht, welche Art von Beziehungen zu Wettbewerbern bestehen, was und wie dies geschieht.
- Für das Top-Management des Unternehmens ist es wichtig zu wissen, was genau im Projekt getan wurde und wie dies zum strategischen Ziel führt. Normalerweise sprechen wir über die Ebene der Projektgruppen, aber wenn Sie möchten, können Sie möglicherweise nicht an bestimmte Arbeiten berichten.
- Andere Teams sind daran interessiert zu sehen, was Kollegen tun. Wir verwenden verschiedene Transportmittel (Eisenbahn, Luft, Busse), um ähnliche Probleme zu lösen. Oft können Sie den Code wiederverwenden, eine Idee ausspionieren oder sehen, wie verschiedene Tools verwendet werden. Und frag.
Was betrifft das?
Es mag den Anschein haben, dass der Entwickler, wenn er die Aufgabe von oben übernimmt, mit einem vollständigen Bild des Wissens maximal eine etwas korrektere Architekturlösung wählen kann. Es wird angenommen, dass dies die Wachstumsrate der technischen Verschuldung verringert, wenn die Korrektheit der Architektur zunimmt. Ja, das stimmt, aber in der Praxis ist die Organisation und Unterstützung des Informationsprozesses außerhalb des Mittagessens ungefähr so schwierig wie der Umgang mit technischen Schulden.
Aber dann erscheint die zweite wichtige Sache. Nämlich diejenigen, die neben dem Geschäft an Brainstorming-Sitzungen teilnehmen möchten. Das heißt, wenn das Unternehmen früher geplant, Aufgaben und Prioritäten festgelegt und sich selbst gesagt hat, was und wie zu tun ist, wirkt sich dies jetzt auf die Entwicklung aus.
Und hier haben wir oft ein sehr interessantes Phänomen. Das Denken eines Ingenieurs unterscheidet sich von dem eines gewöhnlichen Menschen. Irgendwo struktureller, irgendwo unerwartet gute Entscheidungen, irgendwo kognitive Verzerrungen. Es gibt ein nicht getrübtes Aussehen. Es gibt eine Ablehnung der Praktiken „es ist passiert“, weil sie für einige eine Selbstverständlichkeit sind und für den Ingenieur ein dunkles Erbe. Und egal wie alt er ist.
Die Diskussionen verlangsamten sich zunächst. Die Entwickler hatten offensichtlich große Schwierigkeiten mit der Finanzanalyse, und es war notwendig, sie sehr oft zu laden, um die Möglichkeit oder Unmöglichkeit (häufiger) einer Lösung zu rechtfertigen.
Dann gelang es mir ein paar Mal, Orte zu finden, an denen das Unternehmen nicht einmal glaubte, dass mit fast einer Bewegung etwas getan werden könnte. So konnten wir beispielsweise mithilfe eines mathematischen Modells der Busbewegung Haltestellen mit Routen verknüpfen und den Zeitplan in beide Richtungen wiederherstellen.
Hier ist die Geschichte .
Das nächste wichtige ist, dass in den nächsten 1-2 Jahren ein einziges System auf den Markt kommen wird. Vor einem Jahr schien es fantastisch, und jede Fluggesellschaft, einschließlich kleiner SPs mit rostigen Bussen der 80er Jahre, hatte ihre eigenen Standards. Jetzt ist alles in einem einzigen Informationssystem zusammengefasst. Wir haben bereits einen Teil seiner Funktionalität erstellt, aber jetzt ist es möglich, diese Ebene zu entfernen und sofort saubere Daten zu erhalten. Bei einer solchen Marktveränderung müssen wir natürlich das gesamte Team diskutieren. Dies beseitigt zumindest die Fragen nach dem Level "Warum beenden wir meinen coolen Code eines coolen Features nicht?" Und ermöglicht es maximal, sich effektiver als jeder andere auf Änderungen vorzubereiten. Das Marketing berät sich mit dem technischen Team und fragt, wie das neue System hergestellt werden soll und welche Einschränkungen es haben würde. Wir haben die Architektur der Implementierung auf Bundesebene beschrieben und festgestellt, dass unser System ein Add-On für die Verwaltung der Marke, Marketingkampagnen und anderer Tools zur Förderung und Kommunikation mit Benutzern wird. Es wird nicht doppelt konkurrieren, sondern integriert.
Oder hier ist ein Beispiel dafür, was zu tun ist, wenn viele kleine Partner mit dem System verbunden werden müssen. Das Geschäft kannte jeden vom Sehen und verstand, wie sie denken. Der Entwickler kannte niemanden, war sich der Marktbeschränkungen nicht bewusst, also berechnete er das Modell und schlug eine kalte rationale Lösung vor. Um zu rechtfertigen, warum dies nicht möglich war, erkannte das Unternehmen, dass die Marktbeschränkung tatsächlich eher illusorisch ist. Und hier haben wir einen weiteren Durchbruch, aber nicht mehr in der Entwicklung. Das Team für die Zusammenarbeit mit Partnern konzentrierte sich auf andere Partner, wodurch wir viel mehr Daten für das System erhielten.
Das folgende Beispiel. Der Entwickler spricht auf der Konferenz über die technische Lösung. Er sprach über sein eigenes System zur Buchung von Flügen - das persönliche Konto der Fluggesellschaft. Ihm wird vom Publikum eine völlig benutzerdefinierte Frage gestellt: "Was passiert, wenn ich an der nächsten Haltestelle sitze?". In 98% der Fälle reagierte der Entwickler in Bezug auf Integration und Datenaustausch. Hier sprach er darüber, wie das Geschäft funktioniert, welche Art von Beziehung zwischen dem Spediteur und dem Bahnhof besteht. Und argumentierte jedes Detail.
Okay, wie kann man etwas informieren?
Als das Unternehmen fünf Produktbesitzer hatte, versammelten wir uns einmal pro Woche und tauschten uns darüber aus, was für das Produkt nützlich ist und was möglicherweise anders ist. Dann wurden wir acht. Dann - 13 Leute. Und 13 Leute sind schon schwerer zusammenzubauen. Sie schlugen vor, die Ergebnisse der Analyse in Briefen auszutauschen. Sie begannen darüber zu sprechen, was sie für das Produkt nützlich gemacht hatten, und Empfehlungen zu geben, wie es in anderen Produkten angewendet werden kann. War dann einmal im Monat anderthalb - einmal im Monat.
So wurde eine Traditionsregel mit monatlichen Berichten gebildet. Nach den Ergebnissen der Teamarbeit wird in einem Monat ein schwerer Brief verschickt (das letzte Mal in Bussen waren 27 A4-Seiten). Sie können nur die Oberseite lesen, aber Sie können alles in einer Reihe oder in Stücken tun. Es hilft, Feedback zu bekommen, neue Ideen.
Der Bericht wird durch eine Besprechungsaufführung dupliziert: Es ist nicht notwendig zu kommen, aber oft kommen Leute aus benachbarten Teams. Das Wichtigste bei dem Treffen ist kurz, Sie können Fragen im laufenden Betrieb stellen. Lesen Sie dann den Brief und verstehen Sie die Details, wenn Sie möchten. Bei einem dieser Treffen erzählte ein Eisenbahnangestellter, wie sein Benutzer nach Swerdlowsk (Ukraine) statt nach Jekaterinburg (Russland, dem ehemaligen Swerdlowsk in der Region Swerdlowsk) abreiste. Es gibt auch solche Kollisionen in Bussen. Gemeinsam entwickelten sie eine probabilistische Analyse (wohin Sie wahrscheinlich gehen sollten) und ein Warnsystem über atypische Routen. Die Reihenfolge der Tipps für die ersten Buchstaben der Städte wurde geändert, sodass die unwahrscheinlichen Richtungen später als die wichtigsten sortiert wurden.
Ich habe den Digest über den Food-Ansatz gesammelt. Das heißt, er sendete zuerst das aus, was er für richtig hielt, aus den Werten der Endbenutzer (Teamentwickler, Projektbesitzer, Geschäftsleute, die mit Partnern kommunizieren) und begann dann, Feedback zu sammeln. Irgendwo fing jemand an, Fragen zu stellen, die vorher nicht da waren. Irgendwo fragten sie nach weiteren Details. Dann habe ich allen eine Umfrage geschickt, was nützlich ist und was nicht.
Als Ergebnis erschien die folgende Struktur:- Die Hauptaufgaben, die im Produkt waren: für was, warum, warum, wie. Es ist sehr wichtig zu beachten, dass jede Aufgabe den Markt irgendwie beeinflusst. Gruppen von Funktionen werden in Strategiepunkten wie "Bestellung am schnellsten aufgeben" oder "Genauesten Zeitplan haben" zusammengefasst.
- Dann nehmen wir die Ergebnisse analytischer Studien heraus. So haben wir zum Beispiel dank unserer Forschung gelernt, dass eine Busfahrt sehr oft nur der erste Schritt auf einer Reise ist und dann eine Person mit dem Zug fährt. Oder vom Zug in den Bus umsteigen (wenn man ins Outback fährt). Und das ist sehr wichtig, weil es in erster Näherung das Marketing betrifft und in der zweiten - im Allgemeinen auf allen Schnittstellen. Denn die Aufgabe besteht bereits nicht darin, ein Busticket zu kaufen, sondern es mit einem Zug anzudocken, um an einen bequemen Ort zu gelangen. Der nächste Analyst - verglich das Streckennetz von Zügen, Zügen, Bussen zur Vervielfältigung oder Erweiterung. Auf der Fahrplanseite des Zuges Moskau-Dmitrov und darüber hinaus befanden sich Busse im gesamten Bezirk Dmitrovsky im Widget. Jetzt - in Umsetzung.
- Es kann Marktnachrichten geben. Alles ist banal: Nur damit jeder weiß, was ihn erwartet und was groß gemacht wurde.
- Umfragen - Fragen, ob jemand angezogen werden muss. Wir haben Informationen darüber gesammelt, wer fährt und auf welche Probleme sie gestoßen sind. Sie fragten das Team, wie es bequemer wäre, ein elektronisches Ticket zu implementieren. Nach dem Sortiment der Busse - wer fuhr wo, wie es war, wie rostig alles ist. Manchmal bitten wir Sie, Fahrpläne an Haltestellen in bestimmte Richtungen zu fotografieren.
Nach den Ergebnissen der ersten Übersicht begannen sie eine Studie darüber, ob Bahntickets für dieselben Segmente billiger oder teurer sind als Bustickets. Und sie kamen zu vielen nicht ganz offensichtlichen Ergebnissen. Vielleicht schreibe ich etwas später darüber.
Viele unserer Studien sind für Kollegen nützlich. Und wir nehmen etwas. Nach dem Vorbild eines anderen Produkts - Touren - von CJM-Benutzern. Wir sind es gewohnt zu denken, dass der Ansatz zum Kauf eines Tickets ein linearer Trichtertyp ist. Tatsächlich wechseln die Benutzer zwischen den Seiten, öffnen Dutzende von Registerkarten, drücken im Browser in verschiedenen Formen sicher auf "Zurück" und navigieren im Allgemeinen gleichzeitig von verschiedenen Geräten aus (sie werden beim Kauf von einem Mobiltelefon auf einen Desktop übertragen). Das Verfolgen all dieser seltsamen Flugbahnen ermöglichte es zu entscheiden, dass einige zusätzliche Schritte irgendwo geschlossen sind. Ein typisch russisches Problem: Bei der Auswahl eines Busses konnten viele die Sitzauswahlschnittstelle nicht umgehen. Ich möchte Sie daran erinnern, dass es sich um Menschen handelt, die in Dörfern leben und die Unterschiede zwischen der Suchanfrage und der Site-Adresse nicht kennen. Dies sind nur diejenigen, die nicht wissen, wie man die Schriftrolle auf der Waage im Supermarkt benutzt, falls es eine gibt. Im Allgemeinen wurde eine Hypothese geboren: Sie müssen einen Ort automatisch auswählen und ihn dann entweder vereinbaren oder ändern. Und siehe da! - Bewohner entfernter russischer Dörfer, Arbeitsmigranten und eine Reihe von Benutzerkategorien sind in der Benutzeroberfläche nicht mehr verwirrt.
Ein Callcenter kam zu einem der Treffen, um zu sagen, dass sie von dummen Fragen in der ersten Zeile und seit einem Monat - denselben - verblüfft waren. Eine große Anzahl von Fragen wurde entfernt, indem Tipps für die Felder unterschrieben, dem Brief nach dem Kauf eines Tickets weitere Details hinzugefügt wurden und so weiter. Das Seltsamste: Auf der Buskarte befand sich die Verbindung zur Route auf einem blau beleuchteten Würfel, aber die Leute stocherten nicht dort, sondern riefen an. Das heißt, jemand hat nicht einfach verstanden, dass dies ein Link ist.
Eine weitere interessante Entdeckung: Wir haben bei einem solchen Treffen Kollegen aus der Luft zugehört und herausgefunden, wie die Flugpreise für Flüge funktionieren. Und dann boten sie unseren Transportunternehmen an, Busse zu laden. Wenn der Flug mit einer Abdeckung von 40 Prozent oder weniger abfliegt, reduzieren wir den Preis für einen kurzen Zeitraum, damit wir weniger Züge in die gleiche Richtung bekommen. 1 300 Tickets kosten, 400 Rubel wurden: Es ist nicht rentabel für einen Carrier von 400, einen ganzen Bus zu setzen, aber 10 Leute für 400 zu nehmen und sie besser zu nehmen, ist besser als niemanden zu nehmen.
Wie ist der Bericht aufgebaut?
Aufgaben und ihr Fortschritt. Beispiele:
Neue Entscheidungsregeln für CC
- Was hast du entschieden? In einigen Fällen müssen Contact Center-Spezialisten unabhängig Entscheidungen zugunsten des Kunden treffen, ohne auf die Analyse der Situation mit dem Partner (Bushaltestelle, Spediteur) zu warten, was Wochen dauern kann, oder auf eine Analyse durch den Support. Daher bewerteten sie, wo sich die Preisschwelle für Verluste befindet, unterhalb derer die Spezialisten des CC sofort Entscheidungen treffen können.
- Das Ergebnis und was machen wir als nächstes? Der Preis wird festgelegt, wir werden weiter an anderen Szenarien arbeiten. In diesem Fall werden alle Daten gesammelt und wir werden diese Metrik (Ticketverlust) kontrollieren. Spezialisten von KC beginnen, einige Fälle unabhängig von Kunden zu lösen.
- Wie kann dies bei anderen Produkten nützlich sein? Manchmal ist es effektiver und wirkt sich besser auf die Marke aus, wenn Sie dem Kunden sofort helfen, als in tiefgreifende Verfahren einzutauchen. Bewerten Sie, vielleicht haben Sie hier auch etwas zu arbeiten.
Zu leeren Themen gehörten alle CTIS (Eisenbahn, Luft, Züge)
- Was hast du entschieden? Bei leeren Ausgaben, wenn wir dem Kunden keine Busse anbieten können, zeigten sie alle CTISs und gaben den Zug zurück. Es war wichtig zu sehen, wie sich dies auf das Verhalten auswirkt, ob die Alternative interessant ist und ob es sich lohnt, sie weiterzuentwickeln.
- Das Ergebnis und was machen wir als nächstes? In 36% der Fälle wurde dem Kunden eine Alternative angeboten. Es wird davon ausgegangen, dass Kunden immer noch nach echten Bussen suchen (wohin sie wirklich fahren), sodass es tatsächlich einen großen Schwanz unzufriedener Kunden gibt. Dies ist das Potenzial sowohl für Busse als auch für PTTs, bei denen wir unsere Produktpalette erweitern. Es besteht Interesse daran, sie suchen, aber wir planen nicht, uns aktiv mit leeren Themen zu befassen, aber wir werden weiter darüber nachdenken, wie wir sie korrekt in die aktuelle Ausgabe integrieren können.
- Wie kann dies bei anderen Produkten nützlich sein? Für unser großes Land kann ein Bus ein unverzichtbarer Bestandteil einer Reise sein. Daher kann die Kombination von Verkehrsträgern (Multimodalität) strategisch sinnvoll sein, wenn Sie Kunden daran gewöhnen, in Kategorien von A bis B zu denken.
Forschung und Hypothese, Beispiel:
Was bringt die Leute dazu, zurück zu kommen?
- Was hast du entschieden? Beschreiben Sie die Benutzer, die zu uns zurückgekehrt sind, und wie sie sich in ihrem Verhalten von denen unterscheiden, die nicht zurückgekehrt sind.
- Ergebnisse und was machen wir als nächstes? Wir haben eine Reihe von Verhaltensmerkmalen zusammengestellt, die den Benutzer beschreiben und möglicherweise seine Rückgabefähigkeit beeinträchtigen können. Es ist wichtig, dass dies kein Vorhersagemodell ist, sondern ein beschreibendes. Weiter werden wir Experimente durchführen, die Eigenschaften auferlegen und die Rückkehr beobachten. Letztendlich möchten wir ein Vorhersagemodell erstellen, um zu verstehen, wie Benutzer an dem Produkt beteiligt werden und was einbezogen werden muss, um die Wahrscheinlichkeit einer Rückgabe zu erhöhen. Offensichtlich, aber wahr: Personen, die bereits in anderen Bereichen gekauft haben, werden wahrscheinlich zum erneuten Kauf in Bussen zurückkehren.
- Wie kann dies bei anderen Produkten nützlich sein? Wenn Sie in diese Richtung graben möchten, führen Sie eine ähnliche Analyse durch und vergleichen Sie die Schnittpunkte.
Dann - die Antworten auf die Frage: "Was passiert?", Ein Beispiel für die Tagesordnung:
- Warum weniger kaufen? Ja, alles ist in Ordnung, nur eine Saison, die wir nicht kannten.
- Direkter Verkehr. Warum so ein starker Anstieg? Haben Sie richtig zugesagt? Und du analysierst nicht? Und auch Antworten auf mehrere Fragen (Spoiler: Ja, wir werden analysiert).
- Plattform. Wir binden Benutzer ein. Die ersten Ergebnisse einer echten Beteiligung von Personen am Content Management auf der Website. Die Menschen helfen aktiv.
- Plattformübergreifende Einkäufe. Ein elektronisches Ticket, während Personen an einem PC ohne Drucker angehalten werden. Was weiter? 83% derjenigen, die ihren ersten Kauf auf einem PC getätigt haben, kaufen weiterhin auf einem PC.
- Kohortenanalyse. Charts sind nichts für schwache Nerven.
- Wie liegt Upsale in der Luft? Wir haben viel über das Gepäckticket verstanden und nicht nur ... (431 Bestellungen in Bussen von Benutzern, die im selben Zeitraum eine Bestellung im Flugzeug aufgegeben haben, 42% davon - ein Bus zur Ergänzung des Flugzeugs (d. H. Der Bus fährt entweder zum Abflugpunkt oder zu Ankunftsort), 12% - in die entgegengesetzte Richtung.)
Unmenschliche Experimente (das ist für alle Teams interessant), ein Beispiel:Was beeinflusst die Nachfrage nach einem Flug?
- Trägerbewertung. Die Differenz von einem Punkt in der Bewertung erhöht laut Feedback unserer Benutzer (z. B. 9,4 gegenüber 8,4) die Wahrscheinlichkeit, einen Flug zu kaufen, um 23%. Dies kann ein wirklich wichtiges Argument für Fluggesellschaften sein, um das Serviceniveau für Passagiere zu erhöhen.
- Die Wahrscheinlichkeit, einen Werbeflug zu kaufen (gekennzeichnet mit Tutu.ru-Angebotsabzeichen mit einem durchgestrichenen Preis), erhöht sich um XX%.
- Durch Hinzufügen des ersten Werbeangebots um XX% erhöht sich ceteris paribus die Wahrscheinlichkeit einer Umwandlung aus der Emission. Und das bedeutet, dass Sie den Richtungsbereich mit Aktien erweitern müssen.
- Wenn im A / B-Test für jeden Ausstellungsflug die Anzahl der verfügbaren Sitzplätze um eins verringert wird, erhöht sich die Wahrscheinlichkeit einer Umwandlung aus der Ausstellung im Durchschnitt um X%.
- Wenn Sie einen Flug bei Emissionen mit mehr als 10 Flügen wegwerfen (verstecken), erhöht sich die Kaufwahrscheinlichkeit um 0,6%.
Ich muss sofort sagen, dass wir nicht vorhaben, Daten in den Ergebnissen gemäß den Methoden 3 und 4 zu ersetzen, aber wir werden die tatsächlichen Faktoren der Wahl untersuchen. A / B-Tests betreffen etwa 1% der Zielgruppe der Website und sind zeitlich streng begrenzt. Alle Experimente sind insofern ethisch, als sie es einer Person ermöglichen, ein Problem zu lösen und wichtige Daten nicht vor ihr zu verbergen, und der Nutzen aus ihnen sollte manchmal die möglichen Unannehmlichkeiten überwiegen.
Feedback vom Markt, Beispiele:- Wir haben mit der Validierung der eingegebenen Zeitplandaten gearbeitet. Jetzt wird der Feind nicht passieren (das heißt, der Träger kann nicht versehentlich die Daten einer unrealistischen Route eingeben).
- Sie gaben den Fluggesellschaften die Möglichkeit, ihren Flugplan und ihre Flüge zu bearbeiten. Die Jungs sind glücklich und wir haben weniger Arbeit :)
Weiter - Entladen von Jira (in der Tat) in einfacher Sprache für diejenigen, die Details lieben. Alle Ergänzungen und Notizen. Das ist alles.
Zusammenfassung
- Das Unternehmen begann das Potenzial des Produkts zu verstehen, was es ermöglichte, die Budgets für technische Lösungen sehr klar zu begründen.
- Entwickler begannen, neue Ideen zu geben und zu sehen, wie die Implementierung von Funktionen endet und wie sie die Welt verändert.
- Das Team in der Nähe konnte den Entwicklern die Wichtigkeit einiger Probleme vermitteln und sie wurden schnell gelöst.
- Andere Teams erhalten Erfahrungen von uns und teilen ihre Erfahrungen und den Code, den wir wiederverwenden.
- Die Benutzer sind zufrieden (mit Ausnahme von 1% des Verkehrs, den unmenschliche Experimente betreffen).
Ich erzähle allen, was im Produkt vor sich geht. Unabhängig davon stellt sich die Frage nach Geschäftsgeheimnissen: Der Bericht ist sehr einfach weiterzuleiten oder zu durchsuchen, aber wir vertrauen unseren Mitarbeitern. Trotzdem fließen Daten zwischen verschiedenen Marktteilnehmern, und wenn Sie wirklich etwas vollständig verbergen müssen, stellt der Bericht Links zu internen Ressourcen her, die bereits über eine zusätzliche Authentifizierungsebene verfügen.