كيف تم تكليفنا بمقارنة القنفذ مع ثعبان

مرحبا يا هبر! في هذه المقالة ، نحن ، مستشارو ممارسة التحليلات لقسم دعم المبيعات ، سنأخذ في الاعتبار أهمية التقييم الصحيح لجودة النمذجة في حل المشكلات التحليلية. كجزء من عملنا ، غالبًا ما يتعين علينا حل مشكلة بناء نماذج تنبؤية استنادًا إلى بيانات العملاء. في الوقت نفسه ، قد لا يأتي فقط وصف المشكلة التحليلية من العملاء ، ولكن أيضًا إجراء لتقييم جودة النماذج المطورة. ويحدث أحيانًا أن يعرض العميل مقارنة القنفذ بالثعبان. غالبًا ما يمكن مواجهة ذلك عندما يتم تقسيم البيانات مسبقًا إلى عينات تدريب واختبار ، لأن جمع البيانات لكلتا العينتين قد يختلف قليلاً.

هذا هو بالضبط الوضع الذي كان لدينا في إحدى الحالات التي أراد فيها العميل اختبار "قوة" الاتصالات المستهدفة.

بيان المشكلة

أجرى البنك حملة لمرة واحدة ، اتصل خلالها بجزء من عملائه (~ 10 آلاف عميل) وعرض شراء منتج قرض محدد. في نهاية الحملة ، تم جمع البيانات حول الاستجابة للاتصالات. لم يصف لنا البنك المهمة نفسها ، والتي يجب حلها فحسب ، بل أشار أيضًا إلى كيفية البيانات التي يجب أن يبنيها النموذج ، وكذلك كيفية التحقق من الجودة.

ما هو المطلوب منا:

• بناء نموذج للتنبؤ باستجابة الاتصالات.
• لبناء النموذج ، استخدم بيانات العملاء الذين لم يشاركوا في الحملة. لهذا ، قدم لنا البنك بيانات مجهولة المصدر لجميع العملاء ، باستثناء عينة العملاء الذين شاركوا في حملة لمرة واحدة.
• كحدث مستهدف عند بناء النموذج ، استخدم حقيقة التقدم بطلب للحصول على منتج قرض ، والذي تم اقتراحه كجزء من الحملة.

كان من المفترض فحص جودة النموذج المبني للعملاء الذين شاركوا في الحملة. على سبيل المثال إذا توقع النموذج أن العميل يميل إلى شراء منتج قرض وأن العميل تلقى استجابة إيجابية من نتائج الاتصال ، فيُعتبر أن النموذج توقع الاستجابة بشكل صحيح.

الاهتمامات الأولى

بالفعل في مرحلة مناقشة طريقة تقييم الجودة ، تم الإعراب عن القلق بشأن عدم صحة طريقة التقييم هذه. هناك سببان لعدم صحة.

أولاً ، المتغيرات المستهدفة المختلفة في مرحلة بناء النموذج وفي مرحلة تقييم جودته. تم بناء نموذج للتنبؤ بحقيقة التقدم بطلب للحصول على منتج قرض بدون أي اتصال ، ويتم التحقق من الجودة من خلال نتائج تطبيق النموذج على مهمة التنبؤ بالاستجابة للتواصل .

ثانيًا ، قد يختلف العملاء الذين شاركوا في الحملة اختلافًا كبيرًا عن جميع العملاء (نظرًا لأنه من المعقول افتراض أن العملاء تم اختيارهم للمشاركة في الحملة وفقًا لبعض المعايير).

على الرغم من المخاوف ، اتفقنا على محاولة بناء نموذج مع بيان المشكلة الحالية. ومع ذلك ، طلبنا جزءًا من البيانات مع نتائج مكالمة العملاء لاستخدامها كعينة (اختبار) مستقلة.

النمذجة

بينما كنا ننتظر جزءًا من البيانات بنتائج المكالمة ، قمنا ببناء النموذج على العملاء الذين لم يشاركوا في الحملة (حوالي 200 ألف عميل ، اشترى حوالي 5٪ منتج قرض). تم الحصول على نتائج جيدة (جيني ~ 0.75 في عينات التدريب والتحقق والاختبار).

في وقت لاحق تم تحميل البيانات من جانب العملاء الذين شاركوا في الحملة. تم تطبيق النموذج الذي تم إنشاؤه مسبقًا على هذه البيانات. عند تطبيق النموذج على هذا الجزء من العينة ، تركت النتائج الكثير مما هو مرغوب فيه (جيني = 0.16).

التوزيعات

بدأوا في فرز عينة العملاء الذين شاركوا في الحملة ووجدوا أن توزيع البيانات في العديد من المتغيرات لا يتزامن مع توزيع بيانات العملاء الذين لم يشاركوا في الحملة.


ومن هنا شرح النتائج السيئة. حاولوا بناء نموذج على ذلك الجزء من العملاء الذين شاركوا في الحملة (حوالي 5 آلاف - استجابة = 8٪). والنتيجة سيئة (لا توجد بيانات كافية - مؤشرات جودة رديئة - جيني ~ 0.3).

المشاكل

ونتيجة لذلك ، تم عمل عدة افتراضات لنتائج المحاكاة الضئيلة:

1. المتغيرات المستهدفة المختلفة (تذكر أننا نتعلم تحديد الميل لشراء منتج قرض ، ونتوقع الاستجابة للتواصل ).
2. لم يتم إنشاء عينة العملاء الذين شاركوا في الحملة بشكل عشوائي ، وهذا هو السبب في أن توزيع المتنبئين فيها قد يختلف عن التوزيع في عموم السكان لجميع عملاء البنك.
   • في عينة العملاء الذين لم يشاركوا في الحملة ، هناك عملاء لا يمكنهم التقدم بطلب للحصول على قرض
   • العملاء المشاركون في الحملة ليس لديهم أي منتجات قروض تقريبًا: 2٪ فقط لديهم إدخالات في تاريخ مدفوعات القرض ، مقارنة بـ 19٪ من العملاء الذين لم يشاركوا في الحملة.
3. لا توجد بيانات كافية من نتائج الحملة لاستخدامها في بناء النموذج.

حل المشكلات

1. من الضروري دائمًا في البداية تحديد المعايير الصحيحة لتقييم النتيجة.
   • يجب أن تكون المتغيرات المستهدفة هي نفسها.
   • يجب أن تكون البيانات التي يقترحون دراستها ، والتي يقترحون اختبار النتيجة عليها ، من عامة السكان.
2. من الضروري مناقشة نطاق المشروع مسبقًا (وتطبيقها على عينات التدريب والاختبار).
3. نقص البيانات هو إما تغيير في المهمة (لتكون كافية) أو توقع اتصالات جديدة.

الملخص

تم تقديم الحجج المذكورة أعلاه إلى الزملاء من البنك وتقرر المهمة لإعادة.

في البيان الجديد للمشكلة ، كان علينا أن نتنبأ بالاستجابة للحملة المنتظمة. ومع ذلك ، هذه المرة كانت لدينا بيانات اتصالات للحملة نفسها في وقت سابق. وكانت النتيجة مشروعًا ناجحًا (كان من الممكن زيادة الاستجابة بأكثر من مرتين).

الاستنتاجات

نتيجة لذلك ، نعود إلى أساسيات النمذجة:

• من الضروري دائمًا فهم ما إذا كان ما نقوم بتصميمه يتزامن مع ما يريده العميل منا. في هذه الحالة ، من أجل التنبؤ بالرد على الاتصالات ، كان من الضروري الحصول على بيانات الاتصالات.
• يجب أن تكون البيانات من نفس السكان. إذا كان النموذج سيتم تدريبه على نفس الأنماط ، وفي عينة الاختبار لمواجهة أنماط أخرى ، فهناك فرصة ضئيلة للحصول على نقاط جودة جيدة في عينة الاختبار.