Nicht triviale Metriken für die Wirksamkeit von Werbekampagnen

Bei der Analyse der Ketten von Werbekanälen bleiben einige recht einfache, aber nützliche Ideen unbemerkt. Mit Mathematik vertraute Analysten versuchen sofort, in das maschinelle Lernen einzutauchen, während Analysten, die weit von Mathematik entfernt sind, nicht wirklich verstehen, wo und wie sie isoliert von Standardberichten von Google Analytics aussehen sollen.

Gleichzeitig kann eine eher banale Sache wie die Verteilung der Länge von Attributionsketten über einen bestimmten Zeitraum sehr beredte Dinge sagen, und nicht nur über die Effektivität Ihrer Werbung.

In diesem Artikel werde ich zeigen, wie für diese Distribution:

1. Unterscheiden zwischen Nutzern, die über Werbekanäle gehen, und Nutzern, die auf Werbung reagieren;
2. Bewerten Sie die Wirksamkeit der Auswirkungen Ihrer Werbekampagne auf diese Gruppe.
3. Um zu bewerten, wie Menschen auf Ihr Produkt reagieren würden, wenn Sie alles darüber wüssten, was Sie ihnen mitteilen wollten;
4. Schätzen Sie die optimale Häufigkeit der Anzeige von Werbung in Bezug auf die Conversion-Rate.

Benutzereingriffsgruppen

Angenommen, Sie haben Daten zu allen Kanalketten, die Benutzer in einem Monat übergeben haben. Zunächst werden wir sie in zwei Gruppen einteilen:

1. Ketten, die in der Konvertierung endeten.
2. Ketten, die die Konvertierung nicht beendet haben.

Erstellen Sie eine Tabelle mit der Anzahl der Ketten einer bestimmten Länge:

Kettenlänge	1	2	3	4	...
Anzahl der Conversions	200	400	600	1000	...
Anzahl der Gespräche ohne Konvertierungen	400.000	300.000	30000	7000	...

Danach können Sie den Logarithmus der Anzahl der konvertierten und nicht konvertierten Ketten auf ihre Länge zeichnen und sie zusammen betrachten. Hier haben wir beispielsweise einen solchen Zeitplan für einen unserer B2C-Kunden für einen bestimmten Zeitraum erstellt:


Abb. 1. Die Abhängigkeit der Anzahl der Ketten von der Länge der Kette

Jeder Punkt des Diagramms definiert eine bestimmte Gruppe von Benutzern, die im betrachteten Zeitraum entweder die Konvertierung (grüne Linie) abgeschlossen oder die Konvertierung (blaue Linie) nicht durchgeführt haben, während sie eine Kette einer bestimmten Länge abgeschlossen haben. Beide Graphen gehen nach unten, weil die Anzahl der Ketten mit ihrer Länge exponentiell abnimmt. Bei kurzen Ketten (von 2 bis 7-8) nimmt das Umwandlungsniveau (der Abstand zwischen den Linien) allmählich zu.

Es gibt einige äußerst interessante Punkte, die anhand dieser Grafik hervorgehoben werden können:


Abb. 2. Abhängigkeit der Anzahl der Ketten von ihrer Länge mit überlagerten Regionen, die verschiedene Verhaltensweisen hervorheben.

Wir haben 4 verschiedene Benutzergruppen:

1. Ketten der Länge 1 und 2 (gelb). Die Anzahl der Conversions nimmt zu, aber dieses Wachstum selbst und die Werte der Conversion-Rate (Conversion-Rate) entsprechen nicht dem Haupttrend. Dies sind Benutzer, die nur mit dem Produkt vertraut sind.
2. Ketten von 3 bis 9 (grün). Der Haupttrend ist, wenn die Anzahl der Conversions abnimmt. Die Graphen konvergieren, was besagt, dass sich das Verhältnis der Ketten in Richtung einer Erhöhung des Anteils der Ketten mit der Umwandlung ändert. Das heißt, Conversion-Rate steigt. Dies ist für Benutzer geeignet, die speziell auf Werbung klicken.
3. Ketten von 9 bis 15 (blau). Die Anzahl der Conversions wird reduziert und die Conversion-Stufe bleibt unverändert. Die Grafiken verlaufen parallel, was bedeutet, dass die Conversion-Stufe unverändert bleibt. Benutzer haben eine Vorstellung davon, wie das Unternehmen ihre Anforderungen erfüllen kann, und zusätzliche Werbung erhöht nicht die Wahrscheinlichkeit eines Kaufs.
4. Größer als 15 (pink). Weniger als 10 Conversions und Conversions ohne Conversions. Zu wenig Daten, um etwas zu sagen.

Das Hervorheben dieser 4 Gruppen hilft dabei, die Anzahl der Personen zu verstehen, die möglicherweise auf Werbung reagieren. Dies ist größtenteils die Gruppe (2).

Gruppenumwandlungsanalyse

Werfen Sie zunächst alles weg, was nicht benötigt wird. Längen von mehr als 15 (innerhalb dieser Daten) sind für uns nicht sehr informativ. Zu wenige Ketten dieser Länge lassen keine Rückschlüsse zu. Zeichnen wir ein Diagramm der Conversion-Ebene in Abhängigkeit von der Kettenlänge:


Abb. 3. Conversion-Rate vs. Kettenlänge

Diese Grafik ist ungefähr mit dem Igmoid oh. Solche Abhängigkeiten werden durch logistische Regression beschrieben . Die Beschreibung der erhaltenen Abhängigkeit unter Verwendung der logistischen Regression hilft, zusätzliche nützliche Schlussfolgerungen zu ziehen. Zwei Tatsachen beeinträchtigen jedoch eine gute Annäherung unter Verwendung der logistischen Regression:

• Der untere Schwanz ist zu niedrig, die Regression überschätzt die Wahrscheinlichkeit der Umwandlung für kurze Kettenlängen erheblich.
• Wenn die Anzahl der Ketten zunimmt, tendiert der Graph nicht wie ein Sigmoid zu 1, sondern zu 0,5.

Beide Probleme werden ganz einfach gelöst.

Warum hat der untere Schwanz so unzureichende (für die logarithmische Regression) niedrige Wahrscheinlichkeiten?

Es ist intuitiv offensichtlich, dass eine Person, die mindestens dreimal auf Links zu Ihrer Ressource geklickt hat, dies wahrscheinlich nicht zufällig geschehen ist. Und die Chance auf einmal ist sehr wahrscheinlich. Somit wird die gestellte Frage einfach und radikal gelöst - alle diese Personen waren zufällig (höchstwahrscheinlich) auf der Website und brauchten weder Ihre Produkte noch Ihre Dienstleistungen. Aber hier sind sie auf Ihrer Website, und es ist wahrscheinlich, dass sie konvertiert werden.

Daher werden wir diese Gruppe einfach nicht mehr berücksichtigen. Um die logistische Regression zu approximieren, werden nur die Benutzergruppen (2) und (3) betrachtet.

Wie kann man die Tatsache loswerden, dass die Wahrscheinlichkeit nicht zu 1 tendiert, wenn sie bei logistischen Regressionen zu 1 tendiert?

Was geben Werbefirmen? Sie ermöglichen es dem Kunden, sich mit dem Unternehmen, seinen Dienstleistungen und Annehmlichkeiten vertraut zu machen. Wenn eine Person bereits alles über das Unternehmen gelernt hat, bedeutet dies zwangsläufig, dass sie etwas kaufen wird? Nein. Höchstwahrscheinlich gibt es Dutzende und Hunderte von Alternativen zum beworbenen Dienst. Eine Person, die bereits alles über Ihren speziellen Service weiß, ist wahrscheinlich mit einer Reihe anderer Services ziemlich genau vertraut. Und jetzt hat er genug Informationen, um mit einiger Wahrscheinlichkeit eine bestimmte Firma auszuwählen, in der er etwas bestellen wird. Und diese Wahrscheinlichkeit ist kleiner als 1. Das Erhöhen der Anzahl der Durchgänge für Werbung ab einem bestimmten Betrag wird bedeutungslos. Damit das Diagramm auf 1 tendiert, müssen Sie lediglich alle Werte der Conversion-Ebenen durch den Wahrscheinlichkeitswert dividieren, auf den das Diagramm tendenziell die Anzahl der Werbedurchgänge erhöht.

Integrale Bewertung der Wirksamkeit der Organisation und ihrer Marketingstrategie

Schauen wir uns das Obige von der anderen Seite an. Bei ausreichend langen Ketten spielt die Anzahl der zusätzlichen Nutzer, die Werbung weitergeben, keine Rolle mehr. Etwas anderes ist wichtig. Wir nennen dies den Grad der Bequemlichkeit des Unternehmens als solches. Sie ist konstant für die Organisation.

Dann wird die Gesamtumwandlungswahrscheinlichkeit in das Produkt zweier Wahrscheinlichkeiten unterteilt:

$$

$$P_ {conv} (l) = P_ {marketing} (l) * P_ {firm},$$

wo $$$P_ {firm}$- eine integrierte Bewertung der Wirksamkeit der Organisation, d.h. Die Wahrscheinlichkeit, etwas in einer Organisation zu kaufen, über die Sie bereits alles wissen, was Sie können, und bewusst zwischen dieser Organisation und Alternativen zu wählen (zusätzliche Durchgänge über Werbekanäle haben keinen Einfluss auf die Kaufentscheidung). $$$P_ {marketing} (l)$- eine integrierte Bewertung der Wirksamkeit einer Marketingstrategie, d.h. die Wahrscheinlichkeit, etwas in der Organisation zu kaufen, vorausgesetzt, dass nur das Marketing Einfluss hat, und wenn eine Person alles weiß, was möglich ist, wird sie definitiv in dieser Organisation kaufen und keine Alternative in Betracht ziehen. Und diese Wahrscheinlichkeit hängt natürlich von der Länge der Kette ab. $$$l$.

Wenn wir noch einmal zu Abbildung 3 zurückkehren, werden wir sehen, dass der Einflussbereich $$$P_ {marketing} (l)$erstreckt sich nur auf die (2) Benutzergruppe. Für Gruppe (3) - $$$P_ {marketing} (l) = 1$, was bedeutet, dass die Kaufwahrscheinlichkeit ist $$$P_ {firm}$. In unserem Fall im Durchschnitt $$$P_ {firm} = 0,55$Das ist sehr gut. Diese Zahl besagt, dass eine Person, die alle Karten zur Hand hat, diese Organisation in 55% der Fälle aus allen möglichen Alternativen auswählt.

Nun, es bleibt hinzuzufügen, dass wir jetzt eine Rationalisierung für haben $$$P_ {marketing} (l)$Eine einfache logistische Ein-Faktor-Regression kann nun darauf angewendet werden. Wir werden dies tun, indem wir die durch 1 normalisierten Daten approximieren, indem wir die Daten durch Sigmoid teilen $$$P_ {firm}$.


Abb. 4. Abhängigkeit der Umwandlung von der Kettenlänge mit einer auferlegten Kurve für die logistische Regression.

Auf dem Diagramm $$$l$- Kettenlänge, P _m - $$$P_ {marketing} (l)$. Der Exponent für den Exponenten ist das Log-Odds-Verhältnis = 0,53. Wenn ein Unternehmen eine 100% ige Chance auf eine „bewusste Bekehrung“ hätte ( $$$P_ {firm} = 1$) würde dies ungefähr bedeuten, dass sich mit jeder Erhöhung der Kette um eins das Verhältnis der Anzahl der Ketten mit und ohne Umwandlung um [exp (0,53) = 1,699] ändern würde.

Dieser Indikator misst den Grad der Wirksamkeit der gesamten Marketingstrategie. Je schneller die Wahrscheinlichkeit erreicht ist $$$P_ {firm}$Je effektiver die Strategie ist. Natürlich müssen Sie das sicherstellen $$$P_ {firm}$nahm Werte an, die für Ihr Unternehmen zufriedenstellend waren, andernfalls zwingt eine effektive Marketingstrategie einen potenziellen Kunden, etwas zu kaufen, das nicht von Ihnen stammt.

Schätzung der optimalen Werbefrequenz auf dem Kanal

Betrachten Sie die Abbildung (3), die die Abhängigkeit der Wahrscheinlichkeit der Umwandlung von der Anzahl der Kanäle zeigt, die der Benutzer gerade bereist hat. Jeder Punkt in der Grafik entspricht einem bestimmten bedingten Abschnitt der Zielgruppe. Zum Beispiel unterscheiden sich Personen, die 10 Kanäle durchlaufen haben, etwas von denen, die nur 2 Kanäle durchlaufen haben, da die meisten Personen, die zwei Kanäle durchlaufen haben, 10 nicht erreichen.

Darüber hinaus funktionieren Marketingprogramme für diejenigen, die 10 Kanäle durchlaufen haben, höchstwahrscheinlich nicht mehr. Sie haben bereits alle möglichen Anzeigen gesehen. Für diejenigen, die nur zwei Kanäle durchlaufen haben, kann Werbung funktionieren. Daher sollte die gesamte Marketingstrategie speziell auf die Gruppe ausgerichtet sein (2). Personen, die mehr als zwei Kanäle durchlaufen haben, aber noch nicht bestanden haben, z. B. 10.

Unsere Untersuchung der Daten ergab, dass für Gruppe (2) eine signifikante negative Korrelation zwischen dem Conversion-Level und der Gesamtzahl der Anzeigenklicks für einen bestimmten Zeitraum besteht. Das heißt, Je mehr Menschen aus Zentralasien im Prinzip einen bestimmten Werbekanal durchlaufen haben, desto weniger wahrscheinlich ist es, dass ein Mitglied der Gruppe (2) dieses Kanals konvertiert wird.


Abb. 5. Die Beziehung zwischen Korrelation und unterschiedlichen Kettenlängen. Die Korrelation ist der Korrelationskoeffizient des Pearson zwischen dem Conversion-Level und der Gesamtzahl der Klicks auf Werbekanäle.

Dies kann auf die Tatsache zurückzuführen sein, dass die Zunahme der Conversions mit einer Zunahme der Impressionen verbunden ist. Intelligente Algorithmen von Werbeplattformen versuchen, Werbung für den effektivsten Teil der Zielgruppe zu zeigen, aber dieser Teil ist begrenzt. Mit zunehmender Anzahl von Impressionen sind die Algorithmen daher gezwungen, Anzeigen für den weniger effektiven Teil der Zielgruppe zu schalten. Es ist weniger wahrscheinlich, dass dieser Teil der Zertifizierungsstelle konvertiert.

Es kann davon ausgegangen werden, dass die Häufigkeit der Impressionen der Werbung auf dem Kanal optimal gewählt wird, was nur den effektivsten Teil der Zielgruppe betrifft. Der Grad der Angemessenheit der Wahl der aktuellen Frequenz kann geschätzt werden, indem die Korrelation zwischen der Gesamtzahl der Übergänge für den Zeitraum und dem Umwandlungsgrad berechnet wird. Wenn diese Korrelation negativ ist, müssen Sie die Häufigkeit von Impressionen reduzieren. Wenn es ungefähr gleich 0 ist, ist die Größe optimal. Wenn es positiv ist, kann die Größe des Publikums erhöht werden.

In unserem Fall führte eine Änderung der Häufigkeit von Impressionen, die zu einer Verringerung der Anzahl der Conversions um 25% führte, zu einem Anstieg der durchschnittlichen Conversion-Rate der Gruppe (2) von 3,5% auf 4%.

Schlussfolgerungen und Einschränkungen

Wichtige vorgeschlagene Metriken:

1. Gruppengröße (2). Sie können damit abschätzen, wie viele Personen im Berichtszeitraum aktiv auf Anzeigen reagiert haben.
   
2. Die Wahrscheinlichkeit der Bekehrung einer Person, die im Allgemeinen zufällig passiert ist und nichts von der Organisation benötigt. Es wird durch die Umwandlungsrate von "Ein-Schritt" -Ketten geschätzt. Bei den hier überprüften Daten sind dies 0,06%.
   
3. Teilen der Umwandlungswahrscheinlichkeit durch zwei Kettenlängen $$$P_ {firm}$und $$$P_ {marketing}$kann geschätzt werden:
   
   • Integrale Bewertung der organisatorischen Wirksamkeit. Das heißt, Die Wahrscheinlichkeit des Kaufs des Produkts, sofern sich bei einer zusätzlichen Anzeige der Werbung die Meinung der Person zum Produkt und zum Unternehmen überhaupt nicht ändert. In unserem Fall sind es 55%.
     
   • Eine integrierte Bewertung der Wirksamkeit einer Marketingstrategie anhand des Indikators der logistischen Regression, der die bestehende Abhängigkeit des Conversion-Niveaus von der Länge der Kette annähern kann. Mit jeder Erhöhung der Kette um eins steigt die Wahrscheinlichkeit einer Umwandlung, und sie würde irgendwann 100% erreichen, wenn $$$P_ {firm} = 1$. Der logistische Regressionsindex gibt den Schweregrad dieses Anstiegs an.
     
4. Die Korrelation zwischen dem Conversion-Level und der Gesamtzahl der Gruppenklicks (2) auf dem Werbekanal für den Zeitraum ermöglicht es uns, die optimale Häufigkeit von Impressionen auf dem Kanal abzuschätzen.

All dies hat eine Reihe von Einschränkungen bei der Interpretation. Und die Hauptbeschränkung legt uns den letzten Zeitpunkt der Prüfung fest. Offensichtlich können ausreichend lange Ketten irgendwo in der Zukunft noch mit einer Konvertierung enden (was wir noch nicht gefunden haben), und ein gewisses Maß an „realer“ Kettenkonvertierung kann etwas höher sein. Es ist anzunehmen, dass Pfirm etwas unterschätzt wird, und diese Bewertung ist eine integrale Bewertung der Wirksamkeit der Organisation von unten. Um diese Schwierigkeiten zu vermeiden, können wir ein Zeitintervall betrachten, in dem all diese endlichen Zeiteffekte verschwindend klein wären. Zum Beispiel ein ganzes Jahr.

PS Um über die Neuigkeiten von Maxilect auf dem Laufenden zu bleiben und als Erster über alle Veröffentlichungen informiert zu werden, abonnieren Sie unsere Seiten in VK , FB oder Telegramm-Kanal .