哈Ha！ 在本文中，我们作为销售支持部门分析实践的顾问，将考虑正确评估建模质量以解决分析问题的重要性。 作为我们工作的一部分，我们经常必须解决基于客户数据构建预测模型的问题。 同时，不仅分析问题的描述可能来自客户，而且还评估了开发模型的质量。 有时，有时客户会提出将刺猬与蛇进行比较。 当数据被预先划分为训练样本和测试样本时，通常会遇到这种情况，因为这两个样本的数据收集可能会略有不同。
这恰好是我们在其中一种情况下，客户想要测试目标通信的“强度”的情况。
问题陈述
该银行进行了一次一次性的活动，在该活动中，它致电了部分客户（约1万名客户）并提出购买特定的贷款产品。 在活动结束时，收集了有关通信
响应的数据。 银行不仅向我们描述了必须解决的任务本身，而且还指出了应如何构建模型以及在哪些数据上构建模型，以及如何检查质量。
我们需要什么：
- 建立一个模型来预测通信响应。
- 要构建模型，请使用未参与活动的客户的数据。 为此，该银行向我们提供了所有客户的匿名数据，但样本中不包括那些参加一次性活动的客户。
- 作为构建模型的目标事件 ，请使用竞选活动中提出的申请贷款产品这一事实。
应该对参与该活动的客户检查
所构建模型
的质量 。 即 如果模型预测客户倾向于购买贷款产品，并且客户从沟通结果中获得了肯定的响应，则认为该模型正确预测了响应。
首先关注
在讨论质量评估方法的阶段，人们已经对这种评估方法的不正确性表示了担忧。 错误的原因有两个。
首先，在模型构建阶段和评估模型阶段，目标变量不同。 建立了
一个无需任何沟通即可
预测申请贷款产品事实的模型，并通过将模型应用于
预测沟通响应任务的结果来检验质量。
其次，参与活动的客户可能与所有客户截然不同（因为可以合理地假设已根据某些条件选择了参加活动的客户）。
尽管存在担忧，我们还是同意尝试使用当前的问题陈述构建模型。 但是，我们要求提供部分数据以及客户致电的结果，以用作独立（测试）样本。
造型
当我们等待通话结果的部分数据时，我们针对未参与活动的客户（〜20万客户，约5％购买了贷款产品）构建了模型。 获得了良好的结果（训练，验证和测试样本中的Gini〜0.75）。
后来，我们上载了参与该活动的部分客户的数据。 先前构建的模型已应用于此数据。 将模型应用于样本的这一部分时，结果仍有很多不足（Gini = 0.16）。
发行版
他们开始对参与活动的客户样本进行分类，发现许多变量中的数据分布与未参与活动的客户数据分布不一致。
这就是分布的样子
NDA不允许在车轴上做标记。
因此，对不良结果的解释。 他们试图在参与该活动的那部分客户上建立模型（大约5千-响应= 8％）。 结果很差（数据不足-质量指标不佳-Gini〜0.3）。
问题所在
结果，对微不足道的模拟结果做出了几个假设：
- 不同的目标变量（请记住，我们正在学习确定购买贷款产品的倾向 ，并且我们预测对通信的响应 ）。
- 没有随机生成参与该活动的客户样本，这就是为什么其中预测变量的分布可能与所有银行客户的总体分布不同的原因。
- 在没有参加活动的客户样本中，有些客户无法申请贷款
- 参与该活动的客户几乎没有贷款产品：只有2％的人有贷款记录，而没有参与该活动的客户为19％。
- 广告活动的结果数据不足，无法用来建立模型。
解决问题
- 从一开始就总是有必要确定评估结果的正确标准。
- 目标变量必须相同。
- 他们建议研究的数据以及他们提议对结果进行检验的数据应来自一个普通人群。
- 有必要事先讨论项目的范围（它们适用于培训和测试样本）。
- 数据的缺乏要么是任务上的改变（足够），要么是对新通信的期望。
总结
以上论据已提交给银行的同事，任务已决定重做。
在问题的新陈述中，我们需要预测对常规活动的反应。 但是，这次我们之前有相同广告系列的通讯数据。 结果是一个成功的项目（可以将响应提高2倍以上）。
结论
结果，我们回到了建模的基础：
- 始终有必要了解我们的模型与客户从我们这里获得的期望是否一致。 在这种情况下，为了预测对通信的响应，必须具有通信数据。
- 数据必须来自同一人口。 如果模型将以相同的模式进行训练，并且在测试样本中遇到其他模式，则几乎没有机会在测试样本上获得良好的质量得分。