A / B测试还不够
普遍认为，A / B测试是一种通用的半自动工具，始终有助于提高转化率，忠诚度和用户体验。 但是，对结果的误解或错误的采样会导致忠诚的受众群体的流失和利润率的下降。 怎么了 A / B基于以下基本假设：该样本是同质且具有代表性的结果可伸缩性。 实际上，受众是不同的-回忆收入的“ 20/80”分布。 异质性意味着样品中对A / B的敏感性差异很大。
受众群体聚类是一种真实的效果（规则，根据Pareto而言并非例外），这意味着在一个池中存在不同的客户心理档案组。 评估转换置信区间意味着一致性。 因此，违反这些标准意味着结果的准确性是无法衡量的。 没有准确性的结果就是垃圾。 每个独特的心理特征对活动或功能的反应都不同。 我们假设配置文件是一组独特的功能。 为简单起见，可以考虑两个轮廓集X和Y。 多个配置文件的某些功能可能会相交-您的女友也喜欢咖啡和巧克力。 让我们以三种拓扑的形式说明这种影响：
默认情况下，我们假设我们一次涵盖所有细分市场-情况I。情况II和III涉及非平凡的情况。 考虑案例二的典型情况。 转化率显着提高-Y设置显示正反应，而X给出负反应，负NPS变化。 在没有权重的随机样本中，Y set较大，因此累积效果为正。 转化次数增加了两倍。 现在想象一下，X的平均支票要高出10倍，而细分X的转化率下降了一半。 最后：转化次数增加，受众减少，利润下降。 直观的技巧使问题更加严重。 有时，汽车模型会在X线段（案例III）上检验假设，并尝试将其推广为X（Y + Y）。 怎么了 采样技术未考虑细分。 解决方案？
- 方式1 。 使用k均值，其他ML模型或RFM分析对受众进行聚类。 您需要知道超参数-输入的组数。 其定义并非无关紧要。 下一步是确定细分受众群的单独转化。 个性化广告系列-根据配置文件提供A或B脚本。
- 方式2 。 测量A / B边距。 回想一下，保证金是转化率，点击量和平均价格的乘积。 可以通过选择单独的商品类别并选择统一的运输时间段-慢速参数来固定最后两个参数。 您可以增加流量测量的离散度（每个月一个星期一），以减少随机分量。
- 方式3 。 稳定性分析。 在这种情况下，使用替换采样。 考虑所有细分。 样本数量逐渐增加。 转换副样本大小的对数-对数表示给出了回归斜率（赫斯特因子）。 它提供了对一致性和规范稳定性的理解。
但是 不管您选择哪种方式，观众都会以更高的频率发生变化。 这意味着A / B测试是定期重复的实验。 尽管有大量的商业自动化解决方案，但仍应由经验丰富的分析师进行监督的实验。 不要忘记所有模型都是错误的，但是某些模型在某些情况下暂时有用。
献给父亲，父亲教我直觉和数学一样重要