ربما ، لم يسمع سوى المسوقين الأكثر خضرة ومديري المنتجات عن اختبارات A / B ، ولكن حتى المتخصصين ذوي الخبرة لا يعرفون أحيانًا كيفية إجرائها وما يجب فعله بالنتائج. وبسبب هذا يمكنك أن تسمع في كثير من الأحيان أن اختبار A / B لا يعمل وغير مفيد بشكل عام.
لتبديد الشائعات ، تحدثنا مع تحليلات A / B الممارس من وكالة Agima Sergey Filatov ، وأخبرنا عن عمل منهجيات اختبار A / B ، والأدوات التي تساعد على إجراء اختبارات لتطبيقات الهاتف المحمول ، وحول الاحتمالات التي تفتح إتقان هذا مجموعة من المهارات.
اختبارات A / B هي في الواقع أي بحث مخصص لاختيار أفضل خيار من عدة. الشيء هو أن المصطلح واسع جدًا: هذه اختبارات من قبل المسوقين ونوع تحليل المنتجات الرقمية. غالبًا ما يسبب هذا ارتباكًا عندما ترى حالة "الشركة أجرت اختبار أ / ب" ، وتحتاج إلى فهم أي منها عام أو تقني. سنتحدث على وجه التحديد عن اختبارات A / B لتقييم وظائف تطبيقات الهاتف المحمول. (ومع ذلك ، يمكن نقل هذه المعرفة بسهولة إلى مجال أبحاث التسويق.)
هذه المادة جزء من سلسلة تم إعدادها لإطلاق دورة مشتركة في جامعة Skillbox Online و Agima ، Fullstack Mobile Developer . لقد تحدثنا بالفعل عن كيفية الوصول إلى AppStore في المرة الأولى ، وكيفية تطوير واجهات التطبيق ، مع إعطاء العديد من الخصومات بنسبة 10 بالمائة وأربع خصومات بنسبة 20 ٪ في هذه العملية.
أولئك الذين حلوا بالفعل ألغازين ويريدون المزيد (من أجل زيادة الخصم التراكمي) ، سيحصلون اليوم على لغز حول أداة الاختبار. ابحث عنها في النص! ولا يزال بإمكان بقية haroiser طلب أي دورة مقابل 10000 روبل أرخص باستخدام الرمز الترويجي Habr (تذكر أن هذا لا يضيف إلى الخصومات التي تقدمها عمليات التراجع غير المكشوفة).
عادةً ما يُنظر إلى اختبار A / B على أنه أداة تحليلية تسمح لك بتقييم تأثير تغييرات المنتج على تحويله - زيادة في عدد العملاء المحتملين الذين ينقلون الطلبات. التحويل هنا ليس بالضرورة شراء شيء ما: هذا هو أي انتقال للمستخدم من مرحلة إلى أخرى بينما يمر عبر مسار الطلب ، وكل تفاعل له مع أشكال وعناصر الخدمة على طول الطريق.
اختبار A / B مطلوب من أجل:
- اختر من بين عدة خيارات للشاشة أو الصفحة الأفضل ؛
- تقييم إمكانية تغيير مؤشرات معينة لمنتجك ؛
- حساب فعالية استبدال عناصر معينة على الصفحة أو الشاشة ؛
- فهم كيفية زيادة التحويل في كل مرحلة من مسار المبيعات ، وبالتالي زيادة عددها ؛
- داخل تطبيق الهاتف المحمول ، توفر اختبارات A / B فرصة لتحسين تجربة المستخدم ، مما يسمح لك بترتيب العناصر بشكل أكثر ملاءمة وجعل المحتوى أكثر إثارة للاهتمام وأكثر فائدة للمستخدم.
بيان المشكلة
يبدأ أي اختبار أ / ب بفرضية. يأتون في شكلين. أولها أكثر تسويقية ، تهدف إلى زيادة عدد الزيارات ، وعدد الأشخاص الذين يرتكبون إجراءً معينًا وتوضيح الجمهور الذي يركز عليه التطبيق. في هذه الحالة ، لا يتم اختبار وظائف التطبيق نفسه بقدر اختبار قنوات التسويق والتحويلات من كل أداة إعلانية. سنركز على النوع الثاني من الفرضية.
يكمن في حقيقة أنه من خلال تغيير وظيفة داخلية أو أخرى - عنصر أو كتلة ، العلاقة بينهما أو منطق تفاعلهم - يمكننا تحقيق تغييرات في مؤشرات معينة للتطبيق (ومع ذلك ، كل هذا ينطبق على المواقع).
قد تتعلق هذه الفرضيات إما بالعناصر الموجودة على شاشات الخدمة ، أو بوصلات الشاشات بداخلها. لسوء الحظ ، يعد اختبار الاتصالات بين الشاشات مشكلة فنية بسبب الصعوبات في إعداد الاختبار ، لذلك عادة ما يقتصر المحلل على العمل على كتل محددة وشاشات فردية.
جوهر اختبار A / B في هذه الحالة هو أنه يتم عرض مجموعة واحدة من المستخدمين خيارًا واحدًا لموقع أو تكوين الواجهة ، والثاني لمجموعة أخرى.
وها هو التوبيخ! تذكر أن اللغة الإنجليزية هنا قد تتداخل مع اللغة الروسية ، وموضوع اللغز هو الجوال. ولا تنس أننا سنراقب التعليقات بعناية ونزيل النصائح والإجابات منها! يجب استدعاء المقدمة ، المشفرة في rebus ، عندما يتصل بك مديرنا بعد إرسال طلب للدورة. يتم تلخيص خصومات الألغاز التي تم حلها فيما بينها (مع الأخذ في الاعتبار هذه المقالة هناك بالفعل ثلاثة منها) ، ولكن ليس مع الخصومات على الموقع. لا يجب أن تتأخر كثيرًا - يعمل العرض الترويجي حتى 30 أغسطس 2018.
من النتيجة المرجوة إلى البحث عن حلول
الفرضيات من هذا النوع لها قاعدة عامة واحدة: في البداية ، يتم تعيين مؤشر نهائي معين ، والذي نريد زيادته أو إنقاصه. يمكن صياغة الفرضيات على أساس التقارير والمعلومات التحليلية الأخرى المماثلة ، ولكن غالبًا ما يتم إعدادها دون إعداد خاص ، بناءً على الافتراضات الإرشادية للمطورين.
نبدأ بصياغة المشكلة التي نريد حلها: تحويل منخفض ، عدد قليل من النقرات على عنصر أو آخر ، وغياب الضربات الشديدة أو تمرير المستندات.
ثم نختار إجراءات محددة يمكن أن تؤدي إلى النتيجة المرجوة. يمكن أن يكون هذا إضافة أزرار جديدة ، أو تغيير ترتيب الكتل على الشاشة ، أو ، على سبيل المثال ، تغيير تنظيم القائمة من "البرغر" على اليسار إلى الشريط الجانبي السفلي ، كما هو الحال في Instagram.
مثال على كيفية تقييم فعالية التغييرات المختبرة في تطبيق Optimizely.أي أننا بدأنا في التوصل إلى طرق مختلفة للتأثير على المؤشر الرئيسي. لذا تتخذ الفرضية شكلاً كاملاً.
المكونات الإلزامية للفرضية:
- صيغة "إذا - ثم" ؛
- فعل - يصف الإجراء الذي نقوم به فيما يتعلق بالعنصر المحدد ؛
- وصف النتيجة المتوقعة.
" إذا قمنا بزيادة حجم الخط وإعادة رسم الزر باللون الأخضر ، فسوف يزيد التحويل بنسبة 15٪ ."
تتحول الجودة إلى كمية
باستخدام اختبارات A / B ، يمكنك إجراء نوعين من الدراسات: النوعي والكمي.
يهدف البحث النوعي إلى العمل مع تجربة الشخص العاطفية ، من أجل معرفة ما إذا كان يحب الحل الذي نستخدمه: هل هو مناسب للإدراك ، أم أنه يؤثر على وقت التفاعل أم لا. تهدف هذه الاختبارات إلى اكتشاف المشاعر التي يشعر بها المستخدم عند التعامل مع تطبيق أو خدمة.
تهدف الدراسات الكمية إلى زيادة رقم معين في المؤشر المستهدف: حجم النقرات على الزر ، ونصائح لزيادة احتمالية البيع ، وما إلى ذلك. هذا حساب جاف للنقرات وحركة المرور والمبيعات وحركة المرور في مسار التحويل.
يجب تحويل جميع المؤشرات التي تحتاج إلى العثور عليها إلى مقاييس رقمية. على سبيل المثال ، يتحول السؤال "هل المستخدم مهتم بالمحتوى" إلى مؤشرات مقدار الوقت الذي يقضيه على الشاشة ، وعمق التمرير ، وانقر على عنصر رئيسي معين.
هام! اتبع القاعدة: شاشة واحدة - تجربة واحدة. لا تختبر فرضيتين تتعلقان بالعناصر الموجودة على نفس الشاشة في نفس الوقت. علاوة على ذلك ، هناك فرضيتان مرتبطتان بعنصر واحد ، وإلا فلن تتمكن من التعامل مع النتائج (إذا كان وصف الفرضية يعني "مبادلة عنصرين" - هذا إجراء واحد).
أنواع اختبارات أ / ب وعمق الدراسة
تتضمن الاختبارات متعددة المتغيرات مزيجًا من عدة خيارات. على سبيل المثال ، لدينا كتلة تتكون من زر وعبارة تحث المستخدم على اتخاذ إجراء. في هذه الحالة ، يمكنك تشكيل جميع الأنواع الممكنة لهذا الزر بمكالمات مختلفة. ولكن من المهم أن نتذكر أن هذه الاختبارات مناسبة فقط للتطبيقات الكبيرة ذات كمية كبيرة من حركة المرور.
اختبارات الانقسام هي اختبارات لشاشات كاملة لفهم أي منها يسبب استجابة أكبر. على سبيل المثال ، يمكنك مقارنة إصدارات مختلفة من البرنامج التعليمي لشاشة البدء لفهم ما إذا كان المستخدمون يقرؤون النصائح التي أعددتها أو تخطيها ، والانتقال مباشرة إلى وظيفة التطبيق.
في إطار اختبار A / B المعتاد للعناصر ، يمكنك تقييم الرؤوس والروابط وموقع القائمة وجودة العبارات التي تحث المستخدم على اتخاذ إجراء ووجود وفعالية مختلف الكتل الوظيفية أو النصية والرسوم التوضيحية وتفاعل المستخدم مع التطبيق اعتمادًا على الجهاز والمستخدم الذي وصل إليه أثناء الاختبار نسخة تكيفية من التطبيق.
هناك اختبارات A / B / C / N ، حيث لا نختار بالضرورة من بين خيارين فقط. كما أنها ليست مناسبة لجميع الخدمات: فهي تتطلب الكثير من الحركة ، وإلا فإن الاختبار ببساطة لن يتجاوز عتبة الموثوقية الإحصائية. حتى نتأكد من أن التغيير في المؤشر الرئيسي لم يكن عرضيًا ، يجب أن يزور عدد كافٍ من المستخدمين الشاشة.
بالنسبة لمشروع صغير ، والذي عندما يقدم الاختبار الخيارين A و B فقط ، قد يكون هناك ما يكفي من آلاف الأشخاص الذين ارتكبوا الإجراء. بالنسبة إلى الحجم الكبير ، يمكن أن يكون عددهم أكبر بكثير.
المدة المعتادة للتجربة من أسبوعين إلى شهر ونصف. يعد ذلك ضروريًا للتأكد من عدم وجود عوامل خارجية أثرت على مسارها: على سبيل المثال ، الحملات الإعلانية أو الظروف الجوية أو أي شيء آخر. (لا يقتصر الطقس هنا على مزاج المستخدمين فحسب ، بل أيضًا على حقيقة أنه ، على سبيل المثال ، بالنسبة لتطبيقات التسليم ، من المهم التفكير فيما إذا كانت تمطر الآن أم لا - وهذا يؤثر على التحويل).
إذا كان منتجك (أو عنصر اختبار معين فيه) لا يعتمد على الطقس أو الأزياء أو النشاط التسويقي للمنافسين ، فيمكن عندئذٍ التوصل إلى استنتاجات حول مدى ملاءمة التغييرات من إجراءات الألف مستخدم الأول. بعد جمع البيانات ، يمكنك البدء في تفسيرها وإدخال تغييرات تبين أنها مبررة.
أدوات اختبار A / B
من الأسهل بكثير إجراء التجارب على المواقع بسبب مرونة إعداداتها من لوحات التحكم ، ولكن لحسن الحظ ، هناك العديد من الحلول للجوال التي أثبتت نفسها كأفضل الممارسات.
Optimizely هي واحدة من الأدوات الأكثر شعبية. يحتوي على واجهة بديهية وممتعة ومحرر مرئي وتكامل واسع مع الفصول الدراسية ، وقدرات مدمجة لتحرير وظائف العناصر وتعليقها من خلال إرفاق أحداث جديدة بها. ومع ذلك ، فإن الخدمة غير متاحة لجميع المطورين بسبب ارتفاع السعر.
يعتبر اختبار Five Second أكثر ملاءمة لإجراء بحث حول قابلية الاستخدام ودراسة فعالية وإدراك تصميم كتل وعناصر محددة.
تحويل التجارب هو النظام الأساسي الأكثر بأسعار معقولة ، وتبدأ تكلفة الاشتراك في الخدمة من 9 دولارات في الشهر. في الوقت نفسه ، يحتوي على محرر بصري يسمح للمختبر بالعمل مع العناصر دون امتلاك مهارات المبرمج. هناك عدد أقل من المقاييس المتاحة وليس مثل هذه التحليلات الداخلية المتقدمة ، ولكن من أجل تكوين اختبار A / B وتشغيله بسرعة ، فإن البرنامج مناسب تمامًا.
يحتوي
Apptimize على نظام أكثر تقدمًا من التحليلات الداخلية و SDK ، وهو أمر بسيط تمامًا
لإتقانه . هناك أيضا محرر بصري.
تركز
تجارب Google Analytics على تطبيقات الجوال المستندة إلى الويب والتطبيقات المختلطة.
اختبارات A / B وتحديثات التطبيق
قبل بضع سنوات فقط ، لتشغيل اختبارات A / B ، لم يكن من الضروري نشر نسخة محدثة من التطبيق: تم إجراء تغييرات بسرعة من خلال إدخال مقتطفات معينة في الشفرة. ومع ذلك ، نظرًا لحقيقة أن هذا النهج قد تحايل على سياسات الأمان والقيود المفروضة على Apple و Google ، فقد تم إغلاق هذه الميزة للمطورين. اليوم ، لإجراء اختبار أ / ب ، ستحتاج إلى طرح نسخة محدثة من تطبيقك.
ما يجب تعلمه وأين تنمو
لإجراء اختبار A / B ، ليس من الضروري أن تكون محللًا رائعًا - يكفي فهم المؤشرات واستخلاص الاستنتاجات الصحيحة على أساسها.
تتمثل إحدى المهارات الرئيسية للأخصائي الذي يجري اختبارات أ / ب في القدرة على تفسير المؤشرات الكمية إلى مؤشرات نوعية ، وعلى العكس من ذلك ، تحليل الفرضيات النوعية إلى أرقام متاحة للتحليل.
يجب أن يصبح المتخصصون المبتدئون أكثر دراية بقواعد تحليلات المنتج ، حيث أن ممارساتها أقرب إلى اختبار A / B من تلك المستخدمة في تحليلات الويب والتجارة الإلكترونية.
من المفيد دراسة منهجيات مرنة ، ولا سيما بدء التشغيل سطر. بالنسبة للمختبر ، يصبح المنتج "شركته الداخلية". لذا ، فإن مثل هذه القرارات تناسبه بشكل جيد. يمكن الحصول على الكثير من المعلومات المفيدة حول إجراء البحوث من خلال زيارة حاضنات الأعمال وأحداثها ؛ كما أنها مصدر قوي للإلهام. هناك يمكنك العيش لرؤية العديد من الخيارات لاختبارات A / B - سواء التلقائية أو التقليدية مثل الاستطلاعات والمقابلات المتعمقة.
بالطبع ، هناك حاجة أيضًا إلى مهارات العمل مع الأرقام - من إجراء استطلاعات الرأي إلى الخبرة في الرياضيات التطبيقية وعلوم الكمبيوتر. بدون هذا ، ستواجه مشاكل في معالجة نتائج الاختبار.
ستسمح كل هذه المهارات بمرور الوقت ، إذا كانت هناك رغبة ، بالتقدم نحو العمل في التسويق كخبير استراتيجي ، أو تحليلات UI / UX أو إلى منصب مالك المنتج ، وحتى إنشاء مشروعك الخاص. أينما تنشأ الشكوك ، حيث من غير الواضح إلى أين تذهب ، وأين تجد التربة ، لاستقصاء الجمهور وحالاته المزاجية ، في جميع هذه المجالات يمكن استخدام المعرفة المكتسبة أثناء اختبار A / B.
لذا ، بعد أن تعلمت كيفية الانتقال من جمع البيانات الأولية إلى الفرضية ، وتطوير الحلول واختبارها من خلال التحليل اللاحق - والذي ، في جوهره ، مخفي وراء المدى القصير "اختبار أ / ب" ، ستتمكن من اكتشاف المزيد من وجهات النظر من مجرد تطوير دور ضمان الجودة أو المحلل.
توصي Skillbox بدورات مواضيعية:
نذكركم: لجميع قراء هبر - خصم 10000 روبل عند التسجيل في أي دورة من دورات Skillbox باستخدام كود هبر الترويجي.
لا تزال هناك بعض المواد من سلسلتنا حول تطوير الأجهزة المحمولة ، وحان الوقت للسؤال: ماذا تريد أن تقرأ؟ أخبرنا في التعليقات عن المواضيع المتعلقة بالهاتف المحمول والتي تبدو مهمة ، ولكن لم يتم الكشف عنها بشكل كافٍ ، وسنحاول إرضاء اهتمامك.