Eine kostenlose Einführungsstunde ist die Skyeng School-Funktion. Ein potenzieller Schüler kann sich mit der Plattform vertraut machen, sein Englischniveau überprüfen und schließlich einfach Spaß haben. Für die Schule ist die Einführungsstunde Teil des Verkaufstrichters, gefolgt von der ersten Zahlung. Es wird von einem einführenden Unterrichtsmethodiker durchgeführt - einer speziellen Person, die einen Lehrer und einen Verkäufer kombiniert. Seine Zeit wird bezahlt, unabhängig davon, ob der Kunde das erste Paket gekauft hat oder nicht und ob er überhaupt für den Unterricht erschienen ist. Fehlzeiten sind ein sehr häufiges Ereignis, aufgrund dessen der Preis für eine Lektion zu hoch wird.
In diesem Artikel werden wir beschreiben, wie wir mithilfe des analytischen Modells und der Erfahrung von Fluggesellschaften die Kosten für die Einführungsstunde um fast die Hälfte senken konnten.
Der Skyeng-Verkaufstrichter besteht aus fünf Schritten: Registrieren auf der Website, Aufrufen der ersten Verkaufszeile mit Eintrag in die Einführungsstunde, Einführungsstunde, Klingeln der zweiten Verkaufszeile, Bezahlen des ersten Pakets. Zuvor, nach dem ersten Anruf, haben wir eine Unterrichtszeit für einen bestimmten Einführungsstunden-Methodologen festgelegt, der zu diesem Zeitpunkt auf den Schüler wartete. Wenn sich eine Person angemeldet hat und nicht gekommen ist, verschwendet der Methodologe seine Zeit und das Schulgeld, um diese Zeit zu bezahlen. Fehlzeiten treten durchschnittlich in der Hälfte der Fälle auf; Ein Drittel der Kunden kauft das erste Paket nach einer Einführungsstunde. Somit beträgt die Umrechnung von der Aufzeichnung in eine Einführungsstunde in die Zahlung nur 0,15. Eine erfolgreiche (in Zahlung umgerechnete) Einführungsstunde im alten Schema kostete uns 4.000 Rubel, und wir mussten etwas dagegen tun.
Sie können es einfach ablehnen, aber in diesem Fall wird die endgültige Umstellung von Blei auf Zahlung erheblich sinken, was für uns nicht geeignet ist. Wir müssen nach einer anderen Lösung suchen, Modelle erstellen, zählen und experimentieren.
Erster Pfannkuchen
Wir haben uns den Erfahrungen der Fluggesellschaften zugewandt, insbesondere der Praxis der Überbuchung. Die Fluggesellschaften wissen, dass 100% der Passagiere, die ein Ticket gekauft haben, selten auf einem Flug sind, und nutzen dies, indem sie mehr Tickets als Sitzplätze im Flugzeug verkaufen. Wenn plötzlich alle Passagiere zur Landung eintreffen, finden Sie unter ihnen Freiwillige, die bereit sind, beim nächsten Flug zum nächsten Brötchen zu fliegen. Die Fluggesellschaften steigern damit ihre Gewinne, und wir können die Kosten auf ähnliche Weise senken.
Also: Wir lehnen die Aufzeichnung an eine bestimmte Person ab, wir erstellen einen Pool von Methodologen der Einführungsstunde, wir streuen Anwendungen zwischen ihnen in der Erwartung, dass die Hälfte nicht erscheint. Und wenn mehr gekommen ist, empfehlen wir Ihnen, sich für einen weiteren Tag anzumelden. Wir haben einen solchen MVP in den Test gestartet und sofort festgestellt, dass wir alles falsch gemacht haben.
Die Hälfte der Teilnehmer an der Einführungsstunde sind Statistiken. In Wirklichkeit variiert der Anteil stark je nach Uhrzeit, Tag und Kanal, aus dem die Person stammt. Darüber hinaus fallen mehr als 80% der potenziellen Schüler als Reaktion auf einen Vorschlag, den Unterricht zu verschieben, entweder sofort ab oder kommen nicht zum zweiten Rekord. All dies könnte dazu führen, dass wir an schlechten Tagen bis zu einem Drittel der Kunden verlieren würden. Der Test wurde ausgeschaltet und ging, um alles auf intelligente Weise zu tun.
Modell, Vorhersagen, Polynome
Zunächst musste herausgefunden werden, wovon der Anteil derjenigen abhängt, die zur Einführungsstunde gehen. Die erste Beobachtung ist, dass es vom Marketingkanal abhängt, von dem die Person kam. Wir unterteilen diese Kanäle unter dem Gesichtspunkt der Umwandlung in Zahlung in "heiß", wo die Umwandlung höher ist, "warm" und "kalt", wo sie niedriger ist; Es stellte sich heraus, dass die "Kanaltemperatur" die Umwandlung in die Ausgabe der Einführungsstunde in ähnlicher Weise beeinflusst.
In Fortsetzung der Luftfahrtanalogie haben wir verschiedene „Check-in-Schalter“ für Leads aus verschiedenen Kanälen erstellt und diese mit Koeffizienten versehen, die der historischen Wahrscheinlichkeit entsprechen, mit der dieser Kanal herauskommt: 0,8, 0,4 und 0,2. Für "heiße" Kanäle weisen wir mehr Methodiker zu, "kalt" - weniger. Dies funktionierte besser, aber an schlechten Tagen gab es immer noch mehr als 20% der „Abflüge“ (Situationen, in denen mehr Kunden an der Einführungsstunde teilnahmen als freie Methodologen). Sie haben versucht, die Koeffizienten durch Hinzufügen einer Marge von 0,1 zu erhöhen: Einerseits, je mehr wir die Methodologen herausholen, desto weniger verlieren wir Kunden, andererseits steigen die Kosten für die Durchführung von Einführungsstunden.
Aus diesen Beobachtungen wuchs der zweite MVP. Für jeden eingeschriebenen Teilnehmer erstellen wir eine Prognose über die Wahrscheinlichkeit, dass er zu einer Einführungsstunde geht. Wir erstellen eine gemeinsame Wahrscheinlichkeitsverteilung und ein gemeinsames Konfidenzintervall mit einem Konfidenzniveau von 95%. In seltenen Fällen, in denen mehr Kunden als geplant herauskommen, verfügen wir über einen Reservepool von Methodologen - Lehrern, die derzeit nicht dringende Arbeiten wie das Überprüfen von Aufsätzen ausführen.
Um die Prognose für einen bestimmten Schüler zu berechnen, haben wir ein statistisches Modell erstellt, das auf unseren historischen Daten basiert und verschiedene Faktoren berücksichtigt: Kanal, Region, Kind / Erwachsener, Privat- / Firmenkunde, Zeit von der Aufzeichnung bis zur Einführungsstunde.
Das Modell arbeitet mit folgenden Konzepten:
- Slot : Datum und Uhrzeit der Einführungsstunde;
- Korrekturfaktor : die Wahrscheinlichkeit eines abnormalen Austritts an diesem Tag und dieser Stunde;
- Anwendungsgewicht : zulässige Wahrscheinlichkeit des Ausscheidens eines bestimmten Kunden;
- Abfahrt : Nicht versorgte Anwendung (Client beendet, alle Methodologen sind beschäftigt);
- einfacher Methodiker : Es stellte sich heraus, dass die Leute weniger als vorhergesagt untätig sitzen;
- Einschränkung :% des Konfidenzintervalls. Danach verbietet das Modell das Hinzufügen von Befehlen zum Slot.
Jeder Slot enthält N Methodologen, und der Slot selbst hat einen Korrekturfaktor k (mit einer Basis von 100). Die Anzahl der für das Modell verfügbaren Methodologen ist als rund definiert (N * k / 100). Wenn eine Anwendung angezeigt wird, bestimmt das Modell sein Gewicht , überprüft die Summe dieser Gewichte, die sich bereits im Slot befinden, und ermittelt den Slot als verfügbar, wenn durch Hinzufügen dieser Anwendung die Summe der Anwendungsgewichte im Slot die Anzahl der Methodologen nicht überschreitet. Die Metriken zur Bewertung des Modells sind: der Anteil der Abfahrten (zum Minimieren erforderlich), das Laden der Slots (maximiert), die Wartezeit für die Einführungsstunde durch den Kunden (minimiert). Zu den variablen Modellparametern gehören das Anwendungsgewicht und die Einschränkung .
Um vorherzusagen, wie viele Kunden freigegeben werden, wurde die Formel für das Produkt der Wahrscheinlichkeiten verwendet:
Unter Berücksichtigung aller möglichen Kombinationen von Ausgaben erhalten wir eine sehr nahe an der natürlichen Wahrscheinlichkeitsverteilung. Die Verteilung für hundert Kunden sieht folgendermaßen aus:
Durch Anwenden des Konfidenzintervalls können wir die Aggressivität des Modells anpassen. Wenn Sie beispielsweise die Beschränkung nach links verschieben, wird sie erhöht, d. H. Wir geben mehr Kunden mit der gleichen Anzahl von Methodologen frei, und eine Verschiebung nach rechts reduziert dies, weil Einschränkung wird früher ausgelöst. Beispiel mit Einschränkungen von 90% und 57%:
Zusätzlich kann die Aggressivität des Modells durch einen Korrekturfaktor angepasst werden: Eine Abnahme verringert es, eine Zunahme erhöht es. Dies ist nützlich, wenn wir wissen, dass an einem bestimmten Tag / einer bestimmten Stunde bestimmte externe Faktoren die Anomalie verursachen können.
Die Formel mit Multiplikation der Wahrscheinlichkeiten zeigte sich in Tests gut, war jedoch aus rechnerischer Sicht schwierig, weshalb wir sie mit Polynomen umschrieben:
Die Nachteile des Modells umfassen:
- Aufgrund der Tatsache, dass es auf historischen Daten basiert, reagiert es nicht gut auf plötzliche Änderungen beim Ausstieg.
- Wenn der Methodologe ein Ereignis höherer Gewalt hat und aus dem Slot ausscheidet, ist dies eine fast garantierte Abfahrt. Die Manager müssen die Lektion dringend neu zuweisen.
- Wenn die dynamische Markierung der „Wärme“ der Kanäle abfällt, schätzt das Modell die Wahrscheinlichkeit, dass der Client herauskommt, falsch.
Durch die Verwendung dieses Modells konnten wir in der Einführungsstunde bis zu 45% Kosteneinsparungen bei minimalem Verlust für die Kunden erzielen.
Warum nicht maschinelles Lernen?
Da das statistische Modell recht gut funktioniert und die Genauigkeit einer vorhandenen Prognose mithilfe von ML nicht verbessert wird, ist es rentabler, die Bemühungen der ML-Entwickler auf andere Aufgaben zu lenken.
Zum Beispiel entwickeln wir ein Bewertungssystem für einen potenziellen Kunden, ähnlich einem Bankensystem. Mithilfe des Scorings bestimmen Banken die Wahrscheinlichkeit einer Kreditrückzahlung, und wir können die Wahrscheinlichkeit einer ersten Zahlung bestimmen. Wenn es sehr niedrig ist, müssen keine Ressourcen für die Organisation einer Einführungsstunde aufgewendet werden. Wenn es im Gegenteil sehr hoch ist, können Sie den Kunden sofort auf die Zahlungsseite schicken.
Aber diese Geschichte ist für eine andere Zeit.