اختبار الجشطالت: نهج جديد لتحسين قائمة المراسلات استنادًا إلى نظرية بايزي والتعلم الآلي

يعد الاختبار متعدد المتغيرات (A / B / N ، أو الانقسام) أكثر الطرق شيوعًا لاختبار القوائم البريدية. أثبتت هذه الأداة فعاليتها ، لكن لها عيوب تتعلق بشكل أساسي بحقيقة أن الاختبار والإرسال الرئيسي منفصلان في الوقت المناسب.

من جانبنا ، قرر DashaMail التأثير على الموقف ووجد طريقة مختلفة لاختبار المراسلات ، مما يتيح لنا اختبار الإرسال وتحسينه في وقت واحد. يستخدم نظرية بايزي ، وتكنولوجيا الشبكات العصبية والتعلم الآلي - كنتيجة لذلك ، كل هذا يسمح بزيادة انفتاح الحروف بمعدل 20٪.

قبل التاريخ

إحدى الأدوات لتحسين فعالية النشرات الإخبارية عبر البريد الإلكتروني هي الاختبار. هناك العديد من العوامل التي تؤثر على انفتاح الرسائل وإشراك الجمهور ، بما في ذلك موضوع الرسالة ، واسم المرسل ، ووقت التوزيع ، إلخ.

منذ وقت ليس ببعيد ، في إحدى جلسات العصف الذهني ، توصلنا إلى استنتاج مفاده أن خوارزميات التعليم الآلي الشائعة الآن يمكن أن تحدث فرقًا في اختبار المراسلات ، أي تأثير إيجابي على الانفتاح والمشاركة. اختبار الانقسام المعروف ليس مثاليًا على الإطلاق ، كما نود ، ولكن هناك بالفعل خيارات للتحسينات.

اختبارات A / B / N هي خيار اختبار الفرضية الرئيسي في التسويق عبر البريد الإلكتروني. الصعوبة الرئيسية: لا يمكن دائمًا تحليل نتائج هذه الاختبارات إلا بعد حدوثها. هذا يجعل العملية برمتها طويلة للغاية وتستغرق وقتًا طويلاً: أولاً ، تحتاج إلى إرسال عدة خيارات بريدية ، ثم دراسة النتائج ، وتحسين معايير الاختبار ، وإعادة إرسالها. ويمكن أن يكون هناك العديد من هذه التكرارات.

ولكن ماذا لو قمت بإنشاء طريقة لاختبار وتحسين في وقت واحد؟ كان هذا الفكر هو الذي ولد أداة اختبار الجشطالت في DashaMail.

النظرية الافتراضية: اختبار وتحسين على الطاير

يمكن أن تختلف استجابة المشتركين لخيارات الرسائل المختلفة المستلمة في أوقات مختلفة اختلافًا كبيرًا. قد لا يكون خيار الفوز ، الذي تم تحديده كنتيجة للاختبار متعدد المتغيرات ، عند إرسال البريد الرئيسي فعالاً.

لتجنب هذه المشكلة ولكي تأخذ في الاعتبار جميع المعلمات الهامة للبريد في الوقت الحقيقي ، تم استخدام نهج بايزي في صنع القرار والتقييم الإحصائي. نعم ، نحن في DashaMail نحب حقًا نظرية الرياضيات والاحتمالات.

بايز مقابل A / B / N الاختبارات

مع اختبارات A / B / N ، من ناحية ، كل شيء بسيط ، ومن ناحية أخرى ، يمكن أن تكون دقتها موضع شك كبير. يبدو كل شيء واضحًا جدًا: إذا كنا بحاجة إلى اختبار ، على سبيل المثال ، فعالية المراسلات ذات التصميمات المختلفة ، فيمكننا في حالة وجود خيارين ، إرسال أحد المشتركين أحدهما ، والآخر - الثاني. ثم تحليل النتائج.

ولكن عليك أن تفهم الحد الأدنى لعدد المستخدمين الذين يجب أن يشاهدهم كلا الخيارين من أجل الحصول على نتائج ذات دلالة إحصائية. في الواقع ، إذا كان يكفي تخصيص 20٪ فقط من قاعدة المشتركين للاختبار ، فعندئذٍ بالنسبة للـ 80٪ المتبقية ، سنتمكن من إطلاق الإصدار الأكثر فاعلية من الرسالة والحصول على أفضل النتائج. لكن ليس هناك ما يضمن أن الاختيار البسيط لمجموعتين من 10٪ سيعطي النتيجة الصحيحة. إذا كان هناك نسخة حمراء في إصدار واحد من الرسالة ، فقد يتبين أن هؤلاء الذين لا يحبون هذا اللون يقعون بطريق الخطأ في مجموعة من 10٪ من المستخدمين. علاوة على ذلك ، إذا شارك المزيد من الأشخاص في الاختبار ، فقد يفوز هذا الخيار. لذلك توصلنا إلى مفهوم الأخطاء من النوع الأول والثاني - هناك مقالات كافية عنها حول حبري. هذه الأخطاء لها احتمال حدوثها.

نتيجة لذلك ، يؤدي تحليل طريقة الاختبار هذه إلى حقيقة أنه لا يلغي عدم اليقين على الإطلاق ، أي أن الاختبار لا يعطي إجابة دقيقة على السؤال "ما هو الأفضل؟" تم إنجاز العمل ، لكنه لم يصبح أكثر وضوحًا.

على النقيض من هذه الطريقة ، يتم استخدام ما يسمى العصابات بايز متعددة المسلحين. يكمن جوهر هذه الطريقة في أنه لا يسمح لك بإجراء اختبار الفرضيات فحسب ، بل يتيح لك أيضًا الحصول على إجابة عن السؤال الأكثر فعالية. والأهم من ذلك: تتغير التقديرات ديناميكيًا بنفس الطريقة التي يتم بها تحديد أحجام العينات لكل فرضية في الوقت الفعلي (أي مقدار حركة المرور / الحروف التي يجب إرسالها لاختبار خيار معين).

تخيل موقفًا عندما وصلنا إلى كازينو به آلات القمار من نوع "قطاع الطرق المسلح واحد". لدينا كمية محدودة من المال ، والوقت هو أيضا لا حصر له. من الضروري في أقرب وقت ممكن تحديد الجهاز "الواعد" ، وفي الوقت نفسه بأقل تكلفة. هذه هي مهمة العصابات متعددة المسلحين. هناك العديد من الخيارات لحلها ، واحدها يعتمد على أخذ العينات من Thompson ونظرية Bayes ، ويرد وصفها بالتفصيل في هذا المقال عن Habré .

بالنسبة للقوائم البريدية ، يعمل هذا على النحو التالي. في عملية اختبار فرضيتين أو أكثر (خيارات التوزيع) ، لا نريد أن نرسل عددًا كبيرًا جدًا من الرسائل مع معلمات فقدها بوضوح (في اختبارات A / B تحتاج إلى إرسال مشاركات متساوية). لكن في نفس الوقت ، أود أن أتبع هذه الاختلافات أيضًا ، لأن هناك فرصة لأنهم بمرور الوقت سيبدأون في العمل بشكل أفضل (في البداية ، لا حظ فقط) وقد يصبحون قادة - وبعد ذلك ستذهب حركة المرور إليهم.

شكلت هذه النظرية الأساس لأداة جديدة تسمى اختبار الجشطالت.



الفرق الرئيسي من اختبار A / B التقليدي: على الرغم من حقيقة أن معظم الرسائل تتوافق مع خيار الفوز ، فإن الخيارات الأخرى لديها دائمًا الفرصة الأخيرة ، لأنه إذا تغير نمط سلوك المشتركين ، فأنت بحاجة إلى الرد وإرسال الخيار الأنسب للموقف في الوقت المحدد.

إن اختبار الجشطالت هو ، بالإضافة إلى ذلك ، القدرة على استخدام التسويق العاطفي في النشرات الإخبارية ، مما يخلق مواضيع مختلفة للتلوين العاطفي للرسالة. إنه يعمل كما يلي: يقوم مسوِّل البريد الإلكتروني الذي يرسل النشرة الإخبارية بتعيين الموضوع الأساسي ، ثم يمكنك اختيار إعادة صياغة هذا الموضوع في عواطف مختلفة - يمكن أن يكون هناك ما يصل إلى عشرة خيارات (الخوف والامتنان وما إلى ذلك).



تعيد الشبكة العصبية إعادة صياغة نص الموضوع ، باستخدام ألوان عاطفية معينة ، وتقدمها للنظر فيها. في هذه الحالة ، قد يقوم المسوق بالبريد الإلكتروني بإجراء تغييرات وفقًا لتقديره.

مثال على العواطف ومواضيعها ، وكذلك مؤشرات الاكتشافات لكل منها:



بعد البدء ، يبدأ النظام في إرسال رسائل في مجموعات - كل حزمة تحتوي على جميع الخيارات المقترحة. تستغرق جميع المراسلات حوالي 10 ساعات ، حزمة كل نصف ساعة. كما ترون ، الأداة ليست مناسبة للأسهم قصيرة الأجل التي تحتاج إلى إرسالها بسرعة. بدلاً من ذلك ، يمكنك التفكير في خيار الترويج على المدى المتوسط ​​أو توزيع المحتوى. تتوفر إحصائيات لكل خيار - حتى تتمكن من رؤية ما يعمل بشكل أفضل على الفور.

في المثال أدناه ، فيما يتعلق بالاكتشافات والنقرات ، يؤدي البديل مع السمة المعاد كتابتها بواسطة الشبكة العصبية في العواطف "الحب" إلى: "أنت الأجمل في المكتب! -30 ٪ لنماذج المكاتب من اختيارنا ". ومع ذلك ، فإنه يظهر أيضًا أعلى نسبة بين جميع الخيارات الأخرى ، معدل إلغاء الاشتراك. قد يشير هذا إلى أن محتوى الرسالة كان أضعف من الموضوع أو تمكنا من جذب انتباه شريحة المشتركين السابقة للنوم.



نظرًا لأن إرسال المراسلات باستخدام اختبار Gestalt ممتد في الوقت المناسب ، يتم أيضًا إجراء اختبار لحظية محددة للإرسال تلقائيًا. علاوة على ذلك ، تتذكر الخدمة مشاعر النشرة الإخبارية وفي أي وقت يستجيب كل مشترك معين بشكل أفضل ، وخلال عمليات الإرسال اللاحقة باستخدام هذه الوظيفة سيتم ضبطها على ذلك. لذلك ، بمرور الوقت ، تزداد فعالية استخدام اختبار الجشطالت.

لماذا تعمل؟

تتمثل فكرة أداة الاختبار الجديدة في أنها تتيح لك مراعاة حقيقة أن المستلمين يستجيبون بشكل أفضل للرسائل الشخصية والملونة عاطفياً بدلاً من تجفيف النصوص.

في الوقت نفسه ، في اختبار Gestalt ، يتم تطبيق أساليب التعلم الآلي على جميع أنواع الموضوعات. يتم استخدام الخيار الأكثر نجاحًا خلال الاختبار بشكل أكثر نشاطًا ، ولكن يحصل المشاركون الآخرون في المقارنة أيضًا على حركة مرور قليلة. يسمح لك هذا بمراقبة أنماط سلوك المشتركين بمرور الوقت: غالبًا ما يحدث أن يفقد الموضوع ، الذي قدم أداءً جيدًا في وقت واحد ، بقية الخيارات مع اثارة ضجة. إذا "اكتشف" مثل هذا التغيير في الأنماط ، فسيتم تحسين النشرة الإخبارية على الفور للحفاظ على أقصى قدر من الكفاءة.

يتم تحليل الأنماط السلوكية لكل مشترك. بناءً على تاريخ اكتشاف مستلم معين ، يتم تحديد وقت إرسال فردي له. يمكن أيضًا تغيير الأنماط المؤقتة - على سبيل المثال ، قد يغير الشخص أوقات البدء والانتهاء ليوم العمل وقد تحدث القدرة على التحقق من البريد الشخصي في وقت آخر. تقوم وظيفة الجشطالت بضبط هذه التغييرات تلقائيًا.

نقطة مهمة: اختبار الجشطالت هو طريقة تتطلب قدرا معينا من البيانات ، وإلا سيكون من الصعب الحفاظ على كفاءة عالية. هذا هو السبب في أنه متاح فقط لقواعد البيانات من 10 آلاف عناوين وما فوق.

الخلاصة: ما هي النتائج التي يمكنك الاعتماد عليها

هذا يبدو منطقيًا ، ولكن ما هي النتائج التي يمكنك الاعتماد عليها حقًا باستخدام أداة الاختبار المقترحة؟ لنلقِ نظرة على مثال. هذه هي الطريقة التي يبدو بها التقرير المتعلق باستخدام دالة Gestalt لإرسالها بالبريد: فهو يتضمن معدل الفتح النهائي (OR) والنتيجة المتعلقة بالموضوع الأساسي ومقارنة مع المؤشرات التي كان يمكن تحقيقها من خلال اختبار متعدد المتغيرات المنتظم مع نفس التوزيع للرسائل حسب الموضوع.



وفقًا لإحصاءات عملاء DashaMail ، فإن متوسط ​​الزيادة في أسعار فتح الرسائل الإخبارية التي تحمل اختبارات Gestalt هو 20٪. بمرور الوقت ، تزداد فعالية استخدام هذه الوظيفة ، حيث يتعلم النظام ويتذكر في أي وقت وأي مشاعر يستجيب لها مشترك معين بشكل أفضل ، ونتيجة لذلك يمكن أن يزيد معدل فتح (OR) الرسائل البريدية بنسبة 1.5-2 مرات مقارنة بـ الموضوع الأساسي.

حسنًا ، ربما لديك سؤال: ما علاقة مصطلح "الجشطالت" به؟ .. لا ، لم نقم بإغلاق الجشطالت ، لكننا قررنا تطوير أداة للتجارب مع النموذج البريدي. وترجم من الألمانية ، "الجشطالت" هو "شكل". وبالتالي ، فمن الممكن من خلال تجارب النموذج الوصول إلى قائمة بريدية مثالية.

لمواكبة الاتجاهات الحالية في التسويق عبر البريد الإلكتروني في روسيا ، لتلقي المتسللين حياة مفيدة وموادنا - الاشتراك في صفحة الفيسبوك DashaMail وقراءة بلوق .