في هذه المقالة ، سأتحدث عن تحليلات المنتجات في الاستوديو الخاص بنا ، IT Territory. المقالة تتكون من ثلاثة أجزاء. في البداية ، سوف أخبرك كيف يتم تنظيم قسم تحليل المنتجات ، ومن هم موظفوها ، وماذا يفعلون ولماذا كل شيء على ما يرام وليس غير ذلك. في الجزء الثاني ، سوف أصف أمثلة التقنيات التي قمنا بتطويرها وتطبيقها على جميع المشاريع. في الجزء الثالث ، سأقدم بعض النصائح التي يمكن أن تجعل الحياة أكثر جدية وتساعد على العمل بشكل أكثر كفاءة.

الآن يدير الاستوديو الخاص بنا 11 مشروعًا للألعاب المحمولة ، وهناك اثنان قيد التطوير. نحن نركز على سوق الأجهزة المحمولة ونصمم ألعاب midware التجريبية ، لا سيما مع اقتصاد مغلق. يتعامل الاستوديو مع مجموعة كاملة من العمل - من التطوير إلى الترقية والتشغيل. الموظفين من 240 شخصا ، مكاتب في موسكو وفورونيج.

لفهم مكان قسم تحليلات المنتجات في هيكل الاستوديو ، أقترح إلقاء نظرة على هذا المخطط المبسط:



قسم تحليل المنتجات هو قسم الأقمار الصناعية لفرق المشروع ، إلى جانب أقسام الاختبار والتشغيل والتسويق. نعمل عن كثب مع جميع المشاريع ، ونزودهم بنتائج عملنا ونتلقى معلومات من الفرق حول الوضع الحالي والخطط والأولويات. لكن في نفس الوقت نرفع تقاريرك إلى إدارة الاستوديو.

1. من هو محلل المنتج؟

إنه جزء من قسم منفصل ، حيث يتم تعيين كل محلل لمشروع أو امتياز معين. يعمل مع فريق المشروع ، ويقوم بالمهام ويساعد على اتخاذ القرارات في الفريق وفي الإدارة. يستخدم المحلل المنتج بفعالية ، وإلا فلن يكون لديه خبرة مستخدم - وهو عنصر مهم للغاية مطلوب للعمل. في الوقت نفسه ، يدرك المحلل جميع العمليات ، أي يفهم المشكلات والمهام التي يواجهها المشروع الآن ، ويوجه جهوده لحلها.

1.1. تحليلات النهج

نحن نعتقد أن لدينا نهج منظم للتحليلات في الاستوديو الخاص بنا.



في التصميم الكلاسيكي ، تعتبر التحليلات جزءًا من فرق المشروع. مثل هذا الشخص منغمس بعمق في المشروع ، فهو يعرفه تمامًا. كقاعدة عامة ، لا يتواصل المحللون من الفرق المختلفة مع بعضهم البعض.

في نظامنا ، هناك دور رئيس القسم الذي يترجم المتطلبات والأساليب والأدوات. أي أن جميع المحللين في جميع المشاريع يستخدمون أساليب عالمية موثقة ومثبتة ، ولكن لا يقتصر عليهم فقط. بالنسبة لنا ، هذا هو الحد الأدنى ، والذي يمكننا على أساسه الحصول على فحص أكثر خصوصية وتعمقًا. يمكن للموظفين استخدام الأدوات والمناهج غير المذكورة في الطرق القياسية. بدوره ، يتحكم رئيس القسم في نتائج عمل المحللين ، ولأنه هو الأخصائي الأكثر كفاءة ، فإنه يضيف للفريق خبرته ومعرفته.

ميزة هامة لهذا النهج هو أن المحللين هي fungable. غالبًا ما يحدث أن شخصًا ما كان يعمل في نفس المشروع لسنوات ، وأحترق في النهاية ، نظرته "غير واضحة". في مثل هذه الحالة ، يكون نقله إلى مشروع آخر عادةً صعبًا للغاية ، لأن المحلل لديه معرفة محددة بالمشروع وبنيته التحتية ، وهو أمر لا يمتلكه أي شخص آخر. ولكن عندما تكون الأساليب والمتطلبات متماثلة ، وبعد قليل من التدريب ، يمكن نقل الأشخاص بين المشاريع ، مما يوفر لهم تجربة وتحديات جديدة.

1.2. المهام الرئيسية

المهام الرئيسية للمحلل في قسمنا:

• يتغير تحليل KPI مع تطور المنتج .
• كشف ودراسة الشذوذ .
• البحث عن الاختناقات ونقاط النمو . هذه مهمة مهمة للغاية تسمح للشخص بالتطوير المهني. هو نفسه يضع الفرضيات ، ويفحصها ، ويجد معلومات جديدة لا يراها أحد ، وبالتالي يكتسب الخبرة التي لن يقدمها أي قائد.
• دعم القرار . نساعد أعضاء الفريق في الإجابة على أسئلتهم.
• دعم وتطوير البنية التحتية التحليلية .

سأخبرك المزيد عن النقطة الأخيرة. البنية التحتية تتكون من المستويات التالية:



في المستوى الأول ، توجد قاعدة بيانات للمشروع ، حيث نسجل جميع البيانات ، ونستخدم أنفسنا نسخة متماثلة منها للتخلص من مخاطر المشروع.

في المستوى الثاني ، لدينا تخزين قائم على Hadoop ، حيث نقوم بنقل المعلومات من قواعد بيانات المشروع للتحليل التاريخي لكميات كبيرة جدًا.

المستوى التالي هو الوظائف الإضافية على مستودع تنفيذ التعليمات البرمجية. هنا يمكنك تنفيذ أي تحويلات معقدة للبيانات لا يمكننا تنفيذها باستخدام أدوات المستويات السابقة.

في المستوى الأخير ، لدينا التصور. تاريخيا ، كانت البرمجيات الاحتكارية ، QlikView ، مسؤولة عن ذلك. و Excel كلاسيكي ، للمهام السريعة التي نستخدمها دائمًا.

1.3. الكفاءات محلل المنتج

نسلط الضوء على القائمة التالية:

• SQL واللغات المماثلة ؛
  
• بنية قاعدة البيانات ؛
  
• لغات البرمجة (Python، R، Scala)؛
  
• الرياضيات والإحصاء الرياضي.
  
• المنطق والتفكير المنتج ؛
  
• القدرة على الدفاع عن موقف الفرد ؛
  
• مهارات الاتصال.
  

أريد التأكيد على النقطتين الأخيرتين. من المقبول عمومًا أن يكون المحلل انطوائيًا مع معدل ذكاء أعلى من 130 ، والذي يعد تقارير من 50 صفحة حول ما يحدث في مجال مسؤوليته. لكن في الواقع ، في نموذجنا ، المحلل هو الشخص الذي يقود المشاكل ونقاط النمو التي يكتشفها. من الصعب على الفريق إقناع الناس أنك قد وجدت شيئًا مهمًا ، لأن الجميع يشاركون في مهمة ذات أولوية خاصة بهم. ولكن ببساطة نقل هذه المعلومات ونسيانها - مثل هذا الموقف لا يناسبنا. لذلك ، من المهم للغاية أن يكون المحلل قادرًا على بناء علاقات في الفريق ، وإيجاد طرق للدفاع عن موقفه واستنتاجاته ، و "دفع" تنفيذ توصياته.

2. طرق

الآن سأتحدث قليلاً عن أمثلة للتقنيات التي نبثها إلى موظفي قسم التحليلات. في رأينا ، الركائز الثلاث للمنتج الناجح المجاني ، هي الاقتصاد والاحتفاظ بالنقد. لكل من هذه الكيانات ، في قسم التحليلات ، تم تطوير طرق لتقييم ومقارنة مع المشاريع الأخرى. يمكن تقسيمها إلى ثلاث مجموعات كبيرة:

• طرق تقييم المنتج الأولي . المناهج ذات الصلة في المراحل المبكرة من حياة المنتج ، عندما لا يكون هناك جوهر حتى الآن ، وهناك فقط لعبة جديدة بدأ فيها الجمهور في الظهور.
  
• طرق لتقييم التغييرات في المشروع باستخدام النواة . يتم استخدامها لتقييم التغييرات في الإصدارات الجديدة من اللعبة ، وتأثير إضافة ميزات وتعديلات ، سواء على KPI أو على أداء المنتج ككل.
  
• طرق دراسة الحالات الشاذة . نقوم بتطويرها من أجل رد فعل نموذجي لحالات غير طبيعية شائعة مع مؤشرات المنتج. هناك طرق معينة ، وماذا تحتاج إلى تحليل من أجل العثور بسرعة على الأسباب المحتملة والبدء في حل المشكلة.
  

سأتحدث عن الحالات الشاذة في وقت ما ، واليوم سوف نتحدث عن التقييم والتحليل الأولي للتغييرات باستخدام مشروع F2P الكلاسيكي ذي الاقتصاد المغلق.

2.1. تقنيات التقييم الأولي

أمثلة على أساليب التقييم الأولي:

• الاحتفاظ.
  
• CARPU (LTV) للأسواق الرئيسية ؛
  
• FPE (التحويل في الدفع) ؛
  
• تحويل بداية ثابتة (البرنامج التعليمي) ؛
  
• نقاط التقدم التي تسبب الانسحاب ؛
  
• نقاط التقدم التي تحفز المدفوعات ؛
  
• تدفق وتدفق الموارد في سياق التقدم و / أو العمر ؛
  
• ينرات أول محاولات + عدد من المحاولات قبل الانتهاء بنجاح.
  

سأخبركم قليلاً عن العديد منهم.

2.1.1. اقتصاد الأيام الأولى من الحياة

لقد أطلقنا للتو منتجًا جديدًا في الإصدار ونريد تقييم الوضع الحالي لاقتصاد العملة الصعبة. هناك طريقة بسيطة إلى حد ما لتقييم المستوى الأعلى لميزان الطلب على هذا المورد. دع الإنفاق التراكمي في اللعبة في الأيام الأولى من الحياة يبدو كما يلي:



يمثل المحور السيني دورة الحياة. الدخل التراكمي مجاني ، أي أن إجمالي نفقاتنا يتجاوز الدخل المحدد لكل مستخدم. لذلك لدينا نقص في هذا المورد ، والذي يتم إغلاقه بواسطة الشراء. هذا هو أول ، الأكثر قطع عامة. ثم نقسمها إلى مصادر ونبحث عن مصدر الدخل المجاني المتزايد. القاعدة العامة هي: إذا تجاوزت النفقات الدخل المجاني ، فسوف يكون لديك طلب. يمكنك ضبط حجمها باستخدام نسبة النفقات والدخل المجاني. إذا كان دخلك المجاني يغطي تكلفة الوحدة لكل مستخدم ، فمن المرجح أن يدفع فقط أولئك الذين تكون تكاليفهم مرتفعة للغاية. هذا هو ، المستخدمين المخلصين للغاية ، ولكن ليس الكتلة الكلية.

2.1.2 تحويل التقدم

أحد أهم جوانب اللعبة هو الاحتفاظ الأساسي. في الدقائق الأولى بعد التثبيت ، يتعرف الناس على اللعبة ويقررون ما إذا كانوا سيشغلونها أم لا. معظم المشاريع تفقد نصف الجمهور في أول 30 دقيقة. كيف يمكنني العثور بسرعة على مشاكل في الاحتفاظ بجمهوري؟ فيما يتعلق بالتقدم ، نقوم بهذا باستخدام قمع كلاسيكي:



نقوم بتصميم رسم بياني لعدد المستخدمين الذين يصلون إلى نقاط رئيسية معينة. يوضح الرسم البياني انخفاضات واضحة في النقاط 4 و 10 و 20. إذا قمت بحساب التحويل النسبي من نقطة إلى أخرى ، فسترى على الفور الانخفاضات التي ينخفض ​​فيها التحويل بشكل حاد بالنسبة للنقاط المجاورة. الأسباب مختلفة: مشاكل في UX ، مشكلة الاختيار بين أوضاع مختلفة ، عندما لا يذهب المستخدمون وفقًا لاستراتيجيتك ، ولكن انتقل إلى حماية الأصناف النباتية أو أوضاع أخرى ، التعقيد ، الإخفاقات التقنية ، إلخ ولكن بشكل عام ، هذه هي النقاط التي يجب أن تنتبه إليها على الفور ، لأنها تحث المستخدمين على المغادرة أو التصرف بناءً على منحنى التقدم الذي تختاره.

2.1.3 نقاط الرعاية والدفع

فيما يلي مثال على مشروع تم فيه توضيح هذه النقاط بشكل كبير:



في بعض النقاط في تقدم اللاعبين ، تحدث رشقات من المدفوعات وسحب المستخدمين. والسبب هو أنه في هذه اللحظات يواجه الناس حقيقة أنه من المستحيل المضي قدمًا في اللعبة حتى تتراكم عدد معين من النقاط. نتيجة لذلك ، فإن الإجازات الضعيفة ، وأولئك الذين يريدون التغلب على اللعبة بشكل سيئ وفي الوقت نفسه يوفرون الوقت ، يستخدمون ميزات مدفوعة.

بعد تلقي هذه المعلومات ، يجب أن يعمل الفريق على التوازن من أجل خسارة أقل عدد ممكن من الأشخاص ، ولكن في نفس الوقت ، قم بزيادة المدفوعات أو توفيرها.

2.1.4. قضايا تسييل مهمة

مسألة تسييل الأموال واسعة للغاية. نحن نتعامل مع كل مشروع على حدة ونعتقد أن تحقيق الدخل يأتي من التصميم ، وليس نهجًا عالميًا يمكن تطبيقه في كل مكان. بإيجاز ، يمكن التعبير عن أساليبنا في الأسئلة التي نطرحها ، وتعتمد نقاط تطبيق الجهود على الإجابات على هذه الأسئلة.

ما المنتج الذي يحول المستخدم على نحو أفضل؟ كان لدينا مشروع "أطلق النار" بشكل جيد للغاية في البداية. ولكن بعد بضعة أشهر فقط من استلام الميزة ، وبعد هضم عدد كبير من الجمهور ، بدأ مشروع الإيرادات في الانخفاض ، وبجدية شديدة. كان لديه تعليق جيد على مشروع midcore ، وكانت هذه اللعبة صعبة للغاية. لم يكن لدينا ما يكفي من الدفع لدفع المشروع على هضبة مالية بسبب المدفوعات من الجمهور الأساسي.

قررنا أننا بحاجة إلى كسر حاجز الدفع الأول لمعظم المستخدمين. اخترنا المحتوى الحصري الذي لم يتم بيعه إما لعملة اللعبة أو مقابل المال ، ووضعنا أدنى سعر ممكن عليها. بطبيعة الحال ، لم يكن هذا المحتوى إنذارًا ولم يغط جميع احتياجات اللاعب. بدأنا بتقديمه في بداية تسييل النقود بأسعار معقولة في اللعبة ، في ضربة واحدة قمنا بزيادة حصة الدفع بمقدار الثلث ، مع الحفاظ على متوسط ​​الفاتورة.

وكلما أسرع المستخدم في فئة الدفع ، كلما كان جزءًا لا يتجزأ من إيراداته في اللعبة. يرجى ملاحظة أن كل لعبة سيكون لها محتواها الخاص الذي يحل هذه المشكلة بشكل أفضل. إذا كان في الألعاب الأخرى أن تفعل الشيء نفسه في الجبهة ، فلا يمكنك تخمين ذلك. من المهم للغاية أن نفهم أن أي شخص يقدر حقًا في اللعبة المحتوى المطلوب في هذه المرحلة ، وكذلك كيفية تجنب ضربة للاقتصاد والتوازن بشكل عام.

ما نسبة المستخدمين الذين يتحولون إلى الدفع في المراحل اللاحقة من اللعبة؟ إذا كان لديك الكثير من الدائنين الجدد بعد اليوم الثلاثين من حياتك ، فمن المرجح أنك ستتلقى أموالًا أقل. لقد ظل هؤلاء الأشخاص يلعبون لمدة شهر ، وقد حققوا بالفعل أهدافًا قصيرة ومتوسطة المدى. لكن في الوقت نفسه ، لم يكن لديهم الدافع الكافي لبدء الدفع. وفي المراحل اللاحقة ، ظهرت فجأة. واسمحوا لي أن أذكرك أنه إذا تم تحويل المستخدم متأخراً ، فسوف تنخفض إيراداته المحددة مقارنةً بالموقف إذا قام بالتحويل في الأيام الأولى للمشروع. لذلك ، من الضروري إيجاد الدافع للاعبين للتحويل إلى الدفع في مرحلة مبكرة.

كم عدد المستخدمين الذين تم تحويلهم إلى مشتريتين ، ثلاثة ، إلخ؟ إذا صنعنا منتجًا يحول المستخدمين بشكل مثالي في مرحلة مبكرة وحصلنا على الكثير من الدائنين الجدد ، فسيظهر عندئذٍ الحاجز التالي. بين هذا المنتج وبقية عروضك ، قد يكون هناك فجوة كبيرة في السعر ، وبالنسبة للمستخدمين الذين اشتروا منتجًا جيدًا مقابل دولار ، فإن جميع العروض الأخرى ستبدو غير مربحة. في مثل هذه الحالة ، من الضروري التفكير في السلسلة: ما هي الخطوة التالية للاعب الذي يجب أن يصبح دافعًا كاملاً؟ إذا اشترى منتجًا مربحًا جدًا بثمن بخس ، فمن الضروري تقديم عروض متنوعة له تزيد تدريجياً من حجم الشيك ، ولكن في الوقت نفسه تمنح المستخدم جودة جديدة.

هل هناك استراتيجية واضحة لزيادة حجم الشيكات؟ لا يكفي فقط تحويل المستخدمين ، لأنه من الواضح أن هؤلاء الأشخاص اشتروا أنفسهم بسعر رخيص إلى حد ما. من المهم بناء استراتيجية بشكل صحيح بحيث يكون كل منتج لاحق في الطلب في فئة أسعار مختلفة. أنا لا أتحدث على الفور عن أي مبالغ كبيرة ، ولكن لديك مقياس مثل الشيك المتوسط ​​للدافع. يجب إحضار الشخص الذي تحول من عرض رخيص إلى هذا. هذا ممكن ، وغالبا ما يرفض الناس الدفع لأسباب نفسية.

هل هناك عملية لرفض المدفوعات مع الحفاظ على النشاط؟ في العديد من الألعاب ، في المراحل اللاحقة من حياة المشروع ، يتكيف اللاعبون مع الاقتصاد ، ويقومون بضبط احتياجاتهم وفقًا لقدراتهم والانتقال إلى مرحلة عدم دفع الحد الأدنى أو شرائه. هنا تحتاج إلى العمل من حيث تصميم اللعبة. قد يعني هذا أن طريقة اللعب رتيبة جدًا وطويلة الأجل ، وهي عدد قليل جدًا من التحديات المحفزة. ومع ذلك ، نظرًا لجوهر المستخدمين ، يمكن أن تنمو اللعبة بشكل جيد وتتطور كمشروع تجاري.

بالطبع ، هذه ليست جميع الجوانب المهمة لنهج تسييل الأموال ، ومع ذلك ، فإن المزيد من العمل سوف يعتمد إلى حد كبير على الفروق الدقيقة في المنتج.

2.2. تقييم تغيير المنتج

الآن دعنا نتحدث عن طرق تقييم التغييرات في المنتج. هذا هو:

• [جميع طرق التقييم الأولي] +
  
• مقاييس تسييل التدفق: DPU ، ARPPU ، ARPDAU ؛
  
• دقيقة الاحتفاظ المتداول.
  
• تدفق وتدفق الموارد في الديناميات ؛
  
• معدل الزبد
  
• متوسط ​​طول الإقامة في التطبيق ؛
  
• ديناميات الأنشطة الرئيسية ؛
  
• ميزان الموارد في متناول اليد.
  

سوف أتناول بعض التقنيات.

2.2.1. دقيقة المتداول الاحتفاظ

يُعد Rolling Retention في الدقيقة الواحدة طريقة جيدة لفهم ما إذا كانت هناك أي مشاكل تقنية أو تصميم في البداية ، في الدقائق الأولى من اللعبة.
لنلقِ نظرة على جدول المشروع الأول:



منحنى لوغاريتمي ، كل شيء واضح: كلما طالت مدة وجود اللاعب في اللعبة ، قل احتمال مغادرته. المشروع الثاني صحي أيضًا ، لكن النتيجة أفضل قليلاً. بعد ساعة من اللعب ، لدينا المزيد من المستخدمين. ثم قمنا بإجراء تغييرات على المشروع الثاني الذي كسر شيئًا - تغير الجدول.

من المهم هنا أن يكون لدينا قسم يتغير فيه اعتماد احتمال ترك الوقت المنقضي في اللعبة بشكل كبير. هذه الصورة توحي بأننا كسرنا شيئًا ما. ربما بدأت اللعبة تعمل بشكل غير مستقر ، أو دمرنا تجربة المستخدم. في أي حال ، تحتاج إلى معرفة ما يفعله اللاعبون في هذه اللحظات من حياة اللعبة ، والعثور على مصدر التدهور في الاحتفاظ بها.

2.2.2. زبد معدل ، أو معدل التدفق

نحن نسمي Churn Rate بشكل مختلف قليلاً عما تعنيه الصناعة بهذا المصطلح. عندما نشأت المهمة المتمثلة في تقييم التدفق الخارجي لجمهور نشط على وجه التحديد ، أي أنه كان من الضروري المتابعة ليس من التسجيل ، ولكن من نشاط النواة الحالية للمستخدمين ، "توصلنا" إلى معدل Churn الخاص بنا. نحسبها كما يلي: في كل تاريخ نحسب اللاعبين الذين كانوا نشطين ، ومن ثم نرى كم منهم لم يعد يسجل الدخول خلال وقت معين ، أي ، غادر اللعبة. لذلك نحصل على الاحتمال الإحصائي للاعب الذي يغادر مع المعلمات المعطاة في يوم معين.

عادةً ما نقوم بتحليل التدفق الخارجي حسب المستوى والعمر وحالة الدفع. تشير الزيادة الحادة في المقياس إلى أن احتمال خروج اللاعبين من هذا الجزء قد زاد ، وتحتاج إلى البحث عن أسباب. إذا تمت زيادة معدل Churn Rate بشكل ثابت بعد تحديث ملحوظ ، فمن المنطقي أن ندق ناقوس الخطر.

2.2.3. تدفق وتدفق الموارد

الفكرة هي نفسها كما في حالة منهجية تقييم اقتصاد مشروع جديد ، فقط الآن لدينا جوهر يحتوي على دورات لعبة للحصول على الموارد وإنفاقها.



الخط الأصفر هو النفقات ، والخط الأسود هو دخل مجاني. هناك فرق كبير بينهما ، والدخل أقل من النفقات. دلتا هي عجز يخلق الطلب على مواردنا المتداولة. التقيت بالعديد من المشروعات التي كان الموقف فيها معاكسًا تمامًا: يتم تسييلها فقط على حساب المستخدمين ذوي الأجور الكبيرة. بعبارات عامة ، إذا كانت تكلفة الوحدة الخاصة بك لمورد دخل أكثر من الدخل المجاني المحدد ، فهذا يعد اقتصادًا صحيًا ونادرًا.

3. نصائح

3.1. تجانس الاتجاه على المدى الطويل

لنفترض أننا نتابع بعض المعلمات الهامة. على سبيل المثال ، LTV (ARPU التراكمي) لمدة 30 يومًا لجمهور جديد. من الصعب العمل مع. إنه حساس للغاية بالنسبة إلى الدائنين الكبار ، ولديه تشتت كبير ، لذلك فإن جدوله للأفواج المتعاقبة في الديناميات سيبدو غير تمثيلي تمامًا. يمكننا تقسيم هذه المعلمة حسب الأشهر أو المجموعات ، لكن هذا ليس ما نريد رؤيته في الديناميات.

هناك نصيحة بسيطة حول كيفية تحليل هذه المؤشرات بشكل أكثر كفاءة: نحن نطبق تجانس منزلق. للقيام بذلك ، في كل نقطة نأخذ في الاعتبار القيمة الإجمالية للمعلمة مع العديد من المعايير السابقة. يمكن أن تكون نافذة التنعيم مختلفة: 7 أيام أو 30 يومًا أو أكثر. كلما كبرت النافذة ، زادت سلاسة الديناميات وتأثير التقلبات الأقل ، ولكن يجب أن تكون هناك اتجاهات على المدى الطويل من أجل رؤيتها بوضوح.



لدينا مؤشر جيد يسهل إدراكه ويحتفظ بالمعنى المادي. في الوقت نفسه ، من السهل ملاحظة انخفاض في نهاية الرسم البياني.

3.2. اختبارات A / B

نحن حقا نحب اختبارات A / B. لدينا مشروع أجرينا فيه 70 اختبارًا متكاملًا من اختبارات A / B خلال عامين فقط. إذا قمنا بتلخيص تجربتنا في ضغط معين ، يمكننا أن نقول ما يلي:

• اختبارات A / B هي الطريقة الأكثر واقعية (واقعية) لاختبار الفرضيات.
  
• من الأفضل القيام بها في جمهور جديد. إذا قمت باختبار ميزة سبق أن شاهدها الجمهور القديم ، ثم عرضتها كخيار جديد ، فلن يكون الإدراك ورد الفعل هو نفسه بالنسبة للأشخاص الذين لم يروا هذه الميزة. على الأرجح ، سيكون رد الفعل سلبيًا وعامًا ، وقد يؤثر على نتائج الاختبار. فقط في الحالات الفردية ، مع وجود اختلافات غير واضحة للاعبين أو في مواقف محددة ، يمكن إجراء الاختبارات عبر الجمهور بأكمله.
  
• . , . , , . A/B-.
  
• A/B-, , . , , .
  
• A/B-. . A/B-. , .
  
• A/B-, , . , . , . .
  

3.3.

, -. , , . , , .

, :



, , . , ? , , .



, , , . , , , .

, - :

• -, . «ARPU ».
  
• baseline. . « », , .
  
• . .
  
• . , . - , , , . .
  
• . , , - , .
  
• . , ? - .
  
• . - . , , . , , , . , , , . , - . , -, . , , .
  

4.

1. — !
   
2. !
   
3. , !
   
4. A/B- !
   
5. !