Les tests multivariés (A / B / N ou fractionnés) sont le moyen le plus populaire pour tester les listes de diffusion. Cet outil s'est avéré efficace, mais il présente des inconvénients liés principalement au fait que les tests et la répartition principale sont séparés dans le temps.
De notre côté, DashaMail a décidé d'influencer la situation et a trouvé une approche différente pour tester les mailings, ce qui nous permet de tester et d'optimiser simultanément l'envoi. Il utilise la théorie bayésienne, la technologie des réseaux de neurones et l'apprentissage automatique - en conséquence, tout cela permet d'augmenter l'ouvertabilité des lettres de 20% en moyenne.
Contexte
L'un des outils pour améliorer l'efficacité des newsletters par e-mail est le test. De nombreux facteurs influencent l'ouverture des lettres et l'engagement du public, notamment le sujet du message, le nom de l'expéditeur, l'heure de distribution, etc.
Il n'y a pas si longtemps, lors d'une des séances de brainstorming, nous sommes arrivés à la conclusion que les algorithmes d'apprentissage automatique désormais populaires peuvent faire une différence dans le test des mailings, à savoir, affecter positivement l'ouverture et l'engagement. Les tests de fractionnement bien connus ne sont pas parfaits, comme nous le souhaiterions, mais il existe vraiment des options d'amélioration.
Les tests A / B / N sont la principale option de test d'hypothèse dans le marketing par e-mail. La principale difficulté: les résultats de ces tests ne peuvent toujours être analysés qu'après coup. Cela rend l'ensemble du processus assez long et chronophage: vous devez d'abord envoyer plusieurs options de publipostage, puis étudier les résultats, optimiser les paramètres de test et renvoyer. Et il peut y avoir de nombreuses itérations de ce type.
Mais que se passe-t-il si vous créez un moyen de tester et d'optimiser simultanément? C'est cette pensée qui a donné naissance à l'outil de test Gestalt dans DashaMail.
Approche bayésienne: tester et optimiser à la volée
La réponse des abonnés aux différentes options de message reçues à différents moments peut varier considérablement. L'option gagnante, déterminée à la suite d'un test à plusieurs variables, lors de l'envoi du mailing principal peut ne pas être aussi efficace.
Pour éviter ce problème et pouvoir prendre en compte tous les paramètres importants du mailing en temps réel, l'approche bayésienne de la prise de décision et de l'évaluation statistique a été utilisée. Oui, chez DashaMail, nous aimons vraiment les mathématiques et la théorie des probabilités.
Bayes vs tests A / B / N
Avec les tests A / B / N, d'une part, tout est simple, et d'autre part, leur précision peut être très douteuse. Tout semble assez simple: si nous devons tester, par exemple, l'efficacité des mailings avec un design différent, alors, dans le cas de deux options, nous pouvons envoyer l'une d'entre elles à la base d'abonnés, et l'autre à la seconde. Analysez ensuite les résultats.
Mais vous devez comprendre le nombre minimum d'utilisateurs que les deux options doivent voir afin d'obtenir des résultats statistiquement significatifs. En effet, s'il suffit d'allouer seulement 20% de la base d'abonnés au test, alors pour les 80% restants nous pourrons lancer la version la plus efficace de la lettre et obtenir le meilleur résultat. Mais rien ne garantit qu'une simple sélection de deux groupes de 10% donnera le résultat correct. Si dans une version de la lettre il y a plus de couleur rouge, il peut s'avérer que ceux qui n'aiment pas cette couleur tombent accidentellement dans un groupe de 10% d'utilisateurs. De plus, si plus de personnes participaient au test, cette option pourrait gagner. Nous arrivons donc au concept d'erreurs du premier et du deuxième type - il y a
suffisamment d'articles à leur sujet sur Habré. Ces erreurs ont leur propre probabilité d'occurrence.
Par conséquent, l'analyse de cette méthode de test conduit au fait qu'elle n'élimine pas du tout l'incertitude, c'est-à-dire que le test ne donne pas de réponse exacte à la question "Quoi de mieux?" Le travail a été fait, mais il n'est pas devenu plus clair.
Contrairement à cette méthode, les bandits multi-armés dits bayésiens sont utilisés. L'essence de cette méthode est qu'elle vous permet non seulement d'effectuer un test d'hypothèse, mais aussi d'obtenir une réponse à la question qui est plus susceptible d'être plus efficace. Et ce qui est important: les estimations changent dynamiquement de la même manière que les tailles d'échantillon pour chaque hypothèse sont déterminées en temps réel (c'est-à-dire la quantité de trafic / lettres à envoyer pour tester une option spécifique).
Imaginez une situation où nous sommes arrivés dans un casino avec des machines à sous du type «bandit manchot». Nous avons une somme d'argent limitée, le temps n'est pas non plus infini. Il est nécessaire dès que possible de déterminer la machine "prometteuse", tout en étant à un coût minime. Il s'agit d'une tâche de bandit à plusieurs bras. Il existe de nombreuses options pour le résoudre, l'une d'entre elles est basée sur l'échantillonnage de Thompson et le théorème de Bayes; elle est décrite en détail dans
cet article sur Habré .
Pour les listes de diffusion, cela fonctionne comme suit. Dans le processus de test de deux ou plusieurs hypothèses (options de mailing), nous ne voulons pas envoyer trop de lettres avec des paramètres évidemment perdants (dans les tests A / B, vous devez envoyer des parts égales). Mais en même temps, je voudrais également suivre ces variations, car il y a une chance qu'avec le temps, elles commencent à mieux fonctionner (au début, juste pas de chance) et puissent même devenir des leaders - et ensuite plus de trafic ira vers elles.
Cette théorie a constitué la base d'un nouvel outil appelé test Gestalt.
La principale différence avec les tests A / B traditionnels: malgré le fait que la plupart des lettres vont avec l'option gagnante, d'autres options ont toujours la dernière chance, car si le modèle de comportement des abonnés change, vous devez réagir et envoyer l'option la plus appropriée à la situation.
Le test de Gestalt est, en outre, la capacité à utiliser le marketing émotionnel dans les newsletters, créant différents thèmes pour la coloration émotionnelle de la lettre. Cela fonctionne comme ceci: le marketing par e-mail qui envoie la newsletter définit le sujet de base, alors vous pouvez choisir de reformuler ce sujet dans différentes émotions - il peut y avoir jusqu'à dix options (peur, gratitude, etc.).
Le réseau neuronal paraphrase le texte du sujet, en utilisant les couleurs émotionnelles données, et les propose pour examen. Dans ce cas, le marketing par e-mail peut apporter des modifications à sa discrétion.
Un exemple d'émotions et de leurs thèmes respectifs, ainsi que des indicateurs de découvertes pour chacun d'eux:
Après le démarrage, le système commence à envoyer des lettres en groupes - chaque paquet contient toutes les options proposées. Tout envoi prend environ 10 heures, un paquet toutes les demi-heures. Comme vous pouvez le voir, l'outil n'est pas adapté aux stocks à court terme qui doivent être envoyés rapidement. Vous pouvez plutôt envisager l'option de promotions à moyen terme ou de distribution de contenu. Des statistiques sont disponibles pour chaque option - vous pouvez donc voir immédiatement ce qui fonctionne le mieux.
Dans l'exemple ci-dessous, en ce qui concerne les découvertes et les clics, la variante avec le thème réécrit par le réseau neuronal dans les émotions «amour» mène: «Vous êtes la plus belle du bureau! -30% pour les modèles de bureau de notre sélection. ” Cependant, il affiche également le taux le plus élevé de toutes les autres options, le taux de désabonnement. Cela peut indiquer que le contenu de la lettre était plus faible que le sujet ou nous avons pu attirer l'attention du segment d'abonnés précédemment endormi.
Étant donné que l'envoi de mailings avec le test Gestalt est prolongé dans le temps, le test d'un moment spécifique de l'envoi est également effectué automatiquement. De plus, le service se souvient de quelle émotion de la newsletter et à quel moment chaque abonné particulier répond mieux, et lors des envois ultérieurs en utilisant cette fonctionnalité, il y sera adapté. Par conséquent, au fil du temps, l'efficacité de l'utilisation des tests Gestalt augmente.
Pourquoi ça marche
L'idée du nouvel outil de test est qu'il permet de prendre en compte le fait que les destinataires répondent mieux aux messages personnalisés et colorés émotionnellement qu'aux textes secs.
Dans le même temps, dans les tests Gestalt, les méthodes d'apprentissage automatique sont appliquées à toutes les variantes de sujets. L'option la plus réussie pendant le test est utilisée plus activement, mais les autres participants à la comparaison obtiennent également un peu de trafic. Cela vous permet de surveiller les modèles de comportement des abonnés au fil du temps: il arrive souvent que le sujet, qui a donné de bonnes performances à un moment donné, perd le reste des options en un rien de temps. Si le système «détecte» un tel changement de modèle, la newsletter sera optimisée à la volée pour maintenir une efficacité maximale.
Les modèles de comportement sont analysés pour chaque abonné. Sur la base de l'historique de découverte d'un destinataire particulier, une heure d'envoi individuelle est sélectionnée pour lui. Les modèles temporaires peuvent également changer - par exemple, une personne peut modifier les heures de début et de fin d'une journée de travail et la possibilité de vérifier le courrier personnel peut se produire à un autre moment. La fonction gestalt s'adapte automatiquement à ces changements.
Un point important: le test Gestalt est une méthode qui nécessite une certaine quantité de données, sinon il sera difficile de maintenir une efficacité élevée. C'est pourquoi il n'est disponible que pour les bases de données de 10 000 adresses et plus.
Conclusion: quels résultats sur lesquels vous pouvez compter
Cela semble logique, mais sur quels résultats pouvez-vous vraiment compter avec l'outil de test proposé? Regardons un exemple. Voici à quoi ressemble le rapport sur l'utilisation de la fonction Gestalt pour le mailing: il comprend le taux d'ouverture final (OR), le résultat relatif au sujet de base et une comparaison avec les indicateurs qui auraient été obtenus avec le test multivarié habituel avec la même répartition des lettres par sujet.
Selon les statistiques des clients DashaMail, l'augmentation moyenne des taux d'ouverture des newsletters avec tests Gestalt est de 20%. Au fil du temps, l'efficacité de l'utilisation de cette fonction augmente, à mesure que le système apprend et se souvient à quelle heure et à quelle émotion un abonné particulier répond mieux et, par conséquent, peut augmenter le taux d'ouverture (OR) des envois de 1,5 à 2 fois par rapport à thème de base.
Eh bien, vous avez peut-être une question: qu'est-ce que le terme «gestalt» a à voir avec lui? .. Non, nous n'avons pas fermé notre gestalt, mais avons décidé de développer un outil d'expérimentation avec le formulaire de mailing. Et traduit de l'allemand, "gestalt" est une "forme". Ainsi, il est possible grâce à des expériences avec le formulaire d'arriver à une liste de diffusion idéale.
Pour vous tenir au courant des tendances actuelles du marketing par e-mail en Russie, pour recevoir des hacks de la vie utile et nos documents - abonnez-vous à la page Facebook DashaMail et lisez notre blog .