Multivariate Tests (A / B / N oder Split) sind die beliebteste Methode zum Testen von Mailinglisten. Dieses Tool hat sich als effektiv erwiesen, weist jedoch Nachteile auf, die hauptsächlich mit der Tatsache zusammenhängen, dass Test und Hauptversand zeitlich getrennt sind.
DashaMail seinerseits hat beschlossen, die Situation zu beeinflussen, und einen anderen Ansatz zum Testen von Mailings gefunden, mit dem wir das Senden gleichzeitig testen und optimieren können. Er nutzt die Bayes'sche Theorie, die Technologie neuronaler Netze und das maschinelle Lernen - all dies ermöglicht es, die Öffnungsfähigkeit von Buchstaben um durchschnittlich 20% zu erhöhen.
Hintergrund
Eines der Tools zur Verbesserung der Effektivität von E-Mail-Newslettern ist das Testen. Viele Faktoren beeinflussen die Offenheit der Briefe und das Engagement des Publikums, einschließlich des Betreffs der Nachricht, des Absendernamens, der Verteilungszeit usw.
Vor nicht allzu langer Zeit kamen wir bei einer der Brainstorming-Sitzungen zu dem Schluss, dass die mittlerweile beliebten Algorithmen für maschinelles Lernen beim Testen von Mailings einen Unterschied machen können, nämlich Offenheit und Engagement positiv beeinflussen. Bekannte Split-Tests sind keineswegs perfekt, wie wir es gerne hätten, aber es gibt wirklich Möglichkeiten für Verbesserungen.
A / B / N-Tests sind die Hauptoption für Hypothesentests im E-Mail-Marketing. Die Hauptschwierigkeit: Die Ergebnisse solcher Tests können immer erst nachträglich analysiert werden. Dies macht den gesamten Prozess ziemlich langwierig und zeitaufwändig: Zuerst müssen Sie mehrere Mailing-Optionen versenden, dann die Ergebnisse untersuchen, die Testparameter optimieren und erneut senden. Und es kann viele solcher Iterationen geben.
Aber was ist, wenn Sie eine Möglichkeit schaffen, gleichzeitig zu testen und zu optimieren? Dieser Gedanke brachte das Gestalttest-Tool in DashaMail hervor.
Bayesianischer Ansatz: Testen und optimieren Sie im laufenden Betrieb
Die Antwort von Abonnenten auf verschiedene Nachrichtenoptionen, die zu unterschiedlichen Zeiten empfangen werden, kann sehr unterschiedlich sein. Die Gewinnoption, die als Ergebnis eines multivariaten Tests beim Senden des Hauptmailings ermittelt wurde, ist möglicherweise nicht so effektiv.
Um dieses Problem zu vermeiden und alle wichtigen Parameter des Mailings in Echtzeit berücksichtigen zu können, wurde der Bayes'sche Ansatz zur Entscheidungsfindung und statistischen Auswertung verwendet. Ja, wir bei DashaMail lieben Mathematik und Wahrscheinlichkeitstheorie wirklich.
Bayes vs A / B / N-Tests
Bei A / B / N-Tests ist einerseits alles einfach, andererseits kann ihre Genauigkeit sehr zweifelhaft sein. Alles scheint ziemlich einfach zu sein: Wenn wir zum Beispiel die Wirksamkeit von Mailings mit unterschiedlichen Designs testen müssen, können wir bei zwei Optionen eine der Abonnentenbasis eine von ihnen und die andere - die zweite - senden. Dann analysieren Sie die Ergebnisse.
Sie müssen jedoch die Mindestanzahl von Benutzern kennen, die beide Optionen sehen müssen, um statistisch signifikante Ergebnisse zu erzielen. Wenn es ausreicht, nur 20% der Abonnentenbasis für den Test zuzuweisen, können wir für die verbleibenden 80% die effektivste Version des Briefes starten und das beste Ergebnis erzielen. Es gibt jedoch keine Garantie dafür, dass eine einfache Auswahl von zwei Gruppen von 10% das richtige Ergebnis liefert. Wenn in einer Version des Briefes mehr rote Farbe vorhanden ist, kann sich herausstellen, dass diejenigen, die diese Farbe nicht mögen, versehentlich in eine Gruppe von 10% der Benutzer fallen. Wenn mehr Personen an dem Test teilnehmen, könnte diese Option gewinnen. Wir kommen also zum Konzept der Fehler der ersten und zweiten Art - es gibt
genug Artikel über sie auf Habré. Diese Fehler haben ihre eigene Eintrittswahrscheinlichkeit.
Infolgedessen führt die Analyse dieser Testmethode dazu, dass die Unsicherheit überhaupt nicht beseitigt wird, dh der Test gibt keine genaue Antwort auf die Frage „Was ist besser?“. Die Arbeit wurde erledigt, aber es ist nicht klarer geworden.
Im Gegensatz zu dieser Methode werden die sogenannten Bayes'schen mehrarmigen Banditen eingesetzt. Das Wesentliche dieser Methode ist, dass Sie damit nicht nur einen Hypothesentest durchführen, sondern auch eine Antwort auf die Frage erhalten können, welche wahrscheinlich effektiver ist. Und was wichtig ist: Die Schätzungen ändern sich dynamisch auf dieselbe Weise wie die Stichprobengrößen für jede Hypothese in Echtzeit (d. H. Wie viel Verkehr / Briefe gesendet werden sollen, um eine bestimmte Option zu testen).
Stellen Sie sich eine Situation vor, als wir zu einem Casino mit Spielautomaten vom Typ „einarmiger Bandit“ kamen. Wir haben einen begrenzten Geldbetrag, die Zeit ist auch nicht unendlich. Es ist notwendig, die "vielversprechende" Maschine so schnell wie möglich zu bestimmen und gleichzeitig mit minimalen Kosten. Dies ist eine mehrarmige Banditenaufgabe. Es gibt viele Möglichkeiten, es zu lösen. Eine davon basiert auf der Thompson-Stichprobe und dem Bayes-Theorem. Sie wird in
diesem Artikel über Habré ausführlich beschrieben.
Bei Mailinglisten funktioniert dies wie folgt. Beim Testen von zwei oder mehr Hypothesen (Verteilungsoptionen) möchten wir nicht zu viele Briefe mit offensichtlich verlorenen Parametern senden (bei A / B-Tests müssen Sie gleiche Anteile senden). Gleichzeitig möchte ich aber auch solchen Variationen folgen, da die Möglichkeit besteht, dass sie im Laufe der Zeit besser funktionieren (zunächst nur kein Glück) und sogar zu Führungskräften werden - und dann mehr Verkehr zu ihnen gelangt.
Diese Theorie bildete die Grundlage eines neuen Werkzeugs namens Gestalttest.
Der Hauptunterschied zu herkömmlichen A / B-Tests: Trotz der Tatsache, dass die meisten Buchstaben mit der Gewinnoption verbunden sind, haben andere Optionen immer die letzte Chance, denn wenn sich das Verhaltensmuster der Abonnenten ändert, müssen Sie reagieren und die am besten geeignete Option rechtzeitig an die Situation senden.
Gestalttests sind außerdem die Möglichkeit, emotionales Marketing in Newslettern zu verwenden und verschiedene Themen für die emotionale Färbung des Buchstabens zu erstellen. Das funktioniert so: Der E-Mail-Vermarkter, der den Newsletter sendet, legt das Grundthema fest. Anschließend können Sie dieses Thema in verschiedenen Emotionen umformulieren. Es gibt bis zu zehn Optionen (Angst, Dankbarkeit usw.).
Das neuronale Netzwerk paraphrasiert den Text des Themas unter Verwendung der gegebenen emotionalen Farben und bietet sie zur Prüfung an. In diesem Fall kann der E-Mail-Vermarkter nach eigenem Ermessen Änderungen vornehmen.
Ein Beispiel für Emotionen und ihre jeweiligen Themen sowie Indikatoren für Entdeckungen für jeden von ihnen:
Nach dem Start beginnt das System, Briefe in Gruppen zu senden - jedes Paket enthält alle vorgeschlagenen Optionen. Das gesamte Versenden dauert ungefähr 10 Stunden, eine Packung jede halbe Stunde. Wie Sie sehen, ist das Tool nicht für kurzfristige Bestände geeignet, die schnell versendet werden müssen. Sie können vielmehr die Option einer mittelfristigen Werbung oder einer Verteilung von Inhalten in Betracht ziehen. Für jede Option stehen Statistiken zur Verfügung, sodass Sie sofort sehen können, was besser funktioniert.
Im folgenden Beispiel führt in Bezug auf Entdeckungen und Klicks die Variante mit dem Thema, das vom neuronalen Netzwerk in den Emotionen „Liebe“ umgeschrieben wurde: „Sie sind die Schönsten im Büro! -30% für Büromodelle aus unserer Auswahl. “ Es zeigt jedoch auch die höchste unter allen anderen Optionen, die Abmeldequote. Dies könnte darauf hinweisen, dass der Inhalt des Briefes schwächer als das Thema war oder wir die Aufmerksamkeit des zuvor schlafenden Abonnentensegments auf uns ziehen konnten.
Da das Versenden von Mailings mit Gestalttest zeitlich verlängert wird, wird auch automatisch das Testen eines bestimmten Sendezeitpunkts durchgeführt. Darüber hinaus merkt sich der Dienst, welche Emotionen der Newsletter hat und zu welcher Zeit jeder einzelne Abonnent besser reagiert, und wird bei nachfolgenden Sendungen, die diese Funktion verwenden, daran angepasst. Daher nimmt mit der Zeit die Wirksamkeit der Verwendung von Gestalttests zu.
Warum funktioniert es?
Die Idee des neuen Testtools ist, dass Sie die Tatsache berücksichtigen können, dass die Empfänger besser auf personalisierte und emotional gefärbte Nachrichten reagieren als auf trockenen Text.
Gleichzeitig werden beim Gestalttest maschinelle Lernmethoden auf alle Themenvarianten angewendet. Die erfolgreichste Option während des Tests wird am aktivsten verwendet, aber auch andere Vergleichsteilnehmer erhalten ein wenig Verkehr. Auf diese Weise können Sie die Verhaltensmuster von Abonnenten im Laufe der Zeit überwachen: Es kommt häufig vor, dass das Thema, das auf einmal eine gute Leistung erbrachte, den Rest der Optionen mit einem Knall verliert. Wenn das System eine solche Musteränderung „erkennt“, wird der Newsletter im laufenden Betrieb optimiert, um maximale Effizienz zu gewährleisten.
Verhaltensmuster werden für jeden Teilnehmer analysiert. Basierend auf dem Erkennungsverlauf eines bestimmten Empfängers wird eine individuelle Sendezeit für ihn ausgewählt. Temporäre Muster können sich ebenfalls ändern. Beispielsweise kann eine Person die Start- und Endzeit eines Arbeitstages ändern und die Möglichkeit, persönliche E-Mails zu überprüfen, kann zu einem anderen Zeitpunkt erfolgen. Die Gestaltfunktion passt sich automatisch solchen Änderungen an.
Ein wichtiger Punkt: Der Gestalttest ist eine Methode, die eine bestimmte Datenmenge erfordert, da es sonst schwierig ist, eine hohe Effizienz aufrechtzuerhalten. Aus diesem Grund ist es nur für Datenbanken mit 10.000 Adressen und mehr verfügbar.
Fazit: Auf welche Ergebnisse können Sie zählen?
Es klingt logisch, aber auf welche Ergebnisse können Sie mit dem vorgeschlagenen Testtool wirklich zählen? Schauen wir uns ein Beispiel an. So sieht der Bericht über die Verwendung der Gestaltfunktion für den Versand aus: Er enthält die endgültige Öffnungsrate (OR), das Ergebnis in Bezug auf das Basisthema und einen Vergleich mit den Indikatoren, die mit einem regulären multivariaten Test mit der gleichen Verteilung der Buchstaben nach Betreff erzielt worden wären.
Laut Statistiken von DashaMail-Kunden beträgt der durchschnittliche Anstieg der Öffnungsraten für Newsletter mit Gestalttests 20%. Mit der Zeit nimmt die Effektivität der Verwendung dieser Funktion zu, da das System lernt und sich merkt, zu welcher Zeit und mit welcher Emotion ein bestimmter Abonnent besser reagiert, und dadurch die Öffnungsrate (OR) von Mailings im Vergleich zu 1,5- bis 2-mal erhöhen kann Grundthema.
Nun, vielleicht haben Sie eine Frage: Was hat der Begriff Gestalt damit zu tun? Nein, wir haben unsere Gestalt nicht geschlossen, sondern beschlossen, ein Tool zum Experimentieren mit dem Mailing-Formular zu entwickeln. Und aus dem Deutschen übersetzt ist "Gestalt" eine "Form". So ist es durch Experimente mit dem Formular möglich, zu einer idealen Mailingliste zu gelangen.
Abonnieren Sie die Facebook-Seite von DashaMail und lesen Sie unseren Blog, um sich über die aktuellen Trends im E-Mail-Marketing in Russland zu informieren , nützliche Informationen und Materialien zu erhalten.