嗨哈布罗夫斯克 明天我们将开设“ IT项目的产品经理”课程。 预期课程的开始，我们将与您分享我们现有教师的经验。
产品管理器中最受欢迎的工具之一是A / B测试，
下一次 OTUS
网络研讨会将专门讨论该主题。 三位专家一次参加了会议：
Sergey Koloskov -OZON的产品经理。
Alexander Povarov -TransferWise的产品经理。
Andrey Mende-Booking.com的产品负责人。
讨论结果很热烈。 讨论过：
- 在什么情况下最好使用A / B测试？
- 如何定义指标并正确解释结果？
- 如何伤害A / B测试？
- 什么是A / B测试的替代品？
- 有什么更好地进行测试？
- 金融科技，电子商务和市场案例。
有趣的是，他们确实同意A / B测试的应用范围。 但是，让我们依次讨论所有内容。
什么是A / B测试？
A / B测试是市场研究的一种著名方法。 简而言之，我们将网站上的受众群体划分为相同或不平等的同类人群，并在网站上进行一次更改/改进，结果是我们找出哪个页面更有效地解决了业务和整个产品的任务。 我们在一项检验的框架内检查的假设不超过一个（最多两个）。
OZON的真实示例A / B测试：
在此示例中，我们为某些产品类别推出了一键式购买按钮。 在实验过程中，他们查看了指标和渠道，测试了以下假设：用户一次单击是否可以更好地使用脚本，而不会“掉进”“篮子”，即无需做出不必要的手势。 产品类别不是随机选择的-根据统计数据，最常购买的是一种产品。
通常，在A / B测试期间，我们要查看
指标 ，其中：
- 转化（关键操作的份额）；
- 财务指标（GMV的增长，收入，平均账单）；
- 行为指标（点击次数，转化次数）。
为了清楚起见，这是OZON中真正的仪表板：
请注意，可以自定义
细分 ，这对于A / B测试也很重要，因为我们可以看到哪些受众受到特定改进的影响。 假设这些用户来自莫斯科，年龄在35至50岁之间，平均支票超过2500卢布，并且有一个孩子在家庭中。
在Booking.com上使用A / B测试（安德烈·门德）
根据Andrei Mende的说法 ，Booking.com上坚信该公司通过测试取得了成功。 这包括A / B测试，如果没有A / B测试，现在Booking.com
几乎什么都不做 。 Booking.com网站上同时可用的版本数量非常多，并且此处的A / B测试有所不同，几乎所有与产品相关的内容都经过了测试，并且只有在A / B测试之后才能进行任何更改。 顺便说一句，这种方法有助于避免这么多废话。
但是，硬币还有另一面：Booking.com的长期统计数据表明，
根据测试结果 ，有
90％的假设失败了 。 这实际上很好，因为它使您可以确定剩余的10％。 但是，您不应该像玩彩票一样连续尝试所有假设，因为您会花费时间和金钱来开发和检验任何假设。
让我们分析一个奇怪的情况：例如，在网站上有一个列表
搜索和一个地图搜索 。 据统计，按地图搜索的用户转换率较高。 “智能”产品注意到了这一点，该产品没有被利用。 他开始以各种方式（有时甚至是阴险的）向访客发送卡片。 例如，用户来自搜索-在地图上找到自己，比较事物，-再次显示“在地图上显示”按钮，等等。创新花费了大量时间，但
结果为零 。 而且，如果用户没有主动主动出示卡片，那么什么也没起作用。
通常情况会变得更糟，永远不会变得更好 。 所有这些都是因为我们有一个很好的
选择偏向 （偏向采样）示例：
在这里，您可以回想起
有关飞机的
著名故事 ，其中一些返回基地，而另一些则没有。 研究了他们表壳上的孔，以了解需要更多装甲的地方。 当一个组（“幸存者”）的数据很多而另一组（“幸存者”）的数据几乎没有时，我们正在谈论所谓的
系统选择错误 ，因此研究人员试图在“幸存者”中寻找共同特征而被忽略了。重要的信息隐藏在“死者”之中。
与我们的情况相似：我们通过卡研究了在Booking.com上达到预订阶段的人，但没有研究未达到此阶段的人。 结果，得出了错误的结论。
让我们继续前进。 什么是A / B测试在其中发挥重要作用的超级有用的文化：
A / B测试的优势显而易见：
- 首先，很多东西都经过测试，并且有适当的知识库。 如果您想到了一个“绝妙的”主意，您会在15秒内发现两年前其中一种产品已经出现了您的绝妙主意 ，而且，他设法对其进行了测试，但失败了。 怎么不记得经典：
“听我昨晚用电灯闪烁的光芒喷洒的东西：“我记得一个美好的时刻，你像短暂的视野，纯洁的天才一样出现在我面前。” 真的好吗 有才华吗 而且只有在黎明时，当最后几行添加时，我才记得这节经文已经由普希金（A. Pushkin）撰写。 从经典方面如此打击！ 嗯？
奥斯塔·本德（Ostap Bender）的小说《金牛犊》（I. Ilf，E。Petrov）的名言
- 其次，在这种文化下工作很舒适，因为几乎没有意见竞争。 正如他们所说，产品解决方案已经明确，包括通过测试。 无论您是大人还是大学生 ，只要您没有良好的考试，就不会推出任何更改。
- 第三，机器学习和智能机器算法现在非常流行。 机器学习和A / B测试只是爆炸性的混合物，它将在不久的将来决定产品的开发。
初创公司对A / B测试的看法有所不同（Alexander Povarov）
根据Alexander Povarov的说法 ，Booking.com的成功当然值得称赞。 但是，如果我们谈论质量测试，则它们将需要大量数据。 Booking.com拥有大量的受众，并且能够一次尝试许多事物。 如果我们谈论的是一些中型项目，那么在此类项目中，数据和流量常常是不够的。 如果流量高于屋顶，那么这不是万能药，因为用户可以来您的站点解决各种用户情况，这与产品的特性有关。 如果这是互联网银行，则有人来为电话付款，然后有人来查看对帐单。 依此类推。 另外，您经常用一个A / B测试仅测试一个用户操作。
为了得出一个简单的结论，那么A / B测试具有以下
局限性 ：
- 需要大量数据；
- 仅适用于同类用户情况；
- 专注于一步（点击）。
接下来的一点
-A / B测试不提供多重增长 ：
- 转化率提高1个百分点（例如1％→2％）；
- 即使经过30次迭代，也不会增长1％→31％；
- 邻近的漏斗可能会变质；
- 转化将有所改善，但这只是一步。
如果我们谈论的是复杂的产品，然后进行A / B测试，
则可能会钩住相邻的漏斗 ，并且转换为
漏斗的可能性可能会降低。 最常见的例子是大型服务的促销页面上出售了几个功能。 突出显示一个，到其他转换肯定会过去。 但是，即使一切顺利，您仍将开始与每天使用您产品的用户进行互动的历史记录，而您以某种方式改进的这种转换完全没有效果。
因此，根据亚历山大·波瓦罗夫（Alexander Povarov）的说法，最好利用产品经理的资源
来多次开发产品 。 理想情况下，您应该寻找这样的产品增长点，这些增长点将帮助增长百分之几十。
您可以将精力引导到什么：
- 改善用户体验；
- 创造附加价值；
- 改善单位经济；
- 搜索新产品/商业模式。
我们可以自信地说
产品功能比起降落优化要好很多倍 。 例如，
Yandex.Money推出了彩色的塑料卡，它们非常酷并且具有一层透明层。 他们只是推出了，人们对此有很高的要求，因为他们只是自己想要这样的卡片。 并且不需要A / B测试。 也就是说，输出漏斗已经增长，并且现在已经处于更高的水平，并且作为金融服务的产品本身根本没有改变！
是的，并不是每个杂货店功能都会增加百分之几十。 另一方面，A / B测试中的任何改进都不会产生多重增长。
还有一件事：
新的受众群体将为 转换 带来更多 的收益 。 为了更好地理解这一点，让我们给出一个TransferWise真实案例的示例：
在上图中，我们可以看到付款方式，有经验的产品经理可能会对此提出疑问。 而且，很可能他是对的，因为在A / B测试的帮助下，有可能使这种形式更加令人愉悦，甚至可以增加转换率，例如六个月后，进行多次迭代。
但是，TransferWise已采取寻找产品增长点的途径。 下图是固定MNU指标的图表-加入的新用户数：
增长的原因是什么？ 事实是，该公司从事汇款业务，在其中一个国家/地区，不支持信用卡付款，但发现那里有流量。 增加了支持该国家/地区的地图的功能之后，我们获得了更多的见解并增加了活跃的用户群。 而且我们
远非最优的付款方式仍然不是最优的 。 无论如何，如果我们花半年时间来优化付款方式，我们将永远无法实现这样的增长。
这再次表明，将注意力集中在产品的
基本增长上 ，也就是将改变您的产品并带来新用户的事情同等重要。
那么您是否需要A / B测试？
讲师发言后，是时候进行热烈的讨论了，最好是
现场观看。 我们将立即对其进行总结。
A / B测试的功能和应用限制：- 大量受众（DAU，MAU）；
- 检验中的假设不超过一个（最多两个）；
- 在10％的测试中产品成功，增长率为1个百分点，而90％的测试中没有结果；
- 对这些业务指标的影响有限；
- 对B2B产品不适用，对金融科技产品的适用性有限（每次点击该帐户）。
当然，同时，拆分测试是对任何问题的最透明答案，并且是不求助于直觉和不思考用户的机会。 另外，A / B测试也是一个很好的朋友，在此基础上您可以了解现有产品。 另外，由于有了A / B测试，产品指标和NPS都得到了改善，因此，如果价格便宜，并且我们正在寻找现有产品的增长点，则建议始终使用测试。
但是，A / B测试更多地是要从当前的业务模型和产品中
挤出最大的收益 。
以及在哪里寻找产品和业务的增长（Sergey Koloskov）？他在CustDev工作，分析竞争对手（通过相同的相似网络），分析他的产品（在分析关键渠道和搜索到洞察力的相关指标时），市场分析和设计用户场景（在CJM中，您可以看到满意的结果，以及让用户感到不适的原因）。
例如，在OZON分析竞争对手并进行采访会议并设计用户方案之后，一次明智的决定就是以旧换新。 这个想法不是什么新主意，但它为业务增长提供了新的要点。 实际上，如果您的女朋友想要一部新的iPhone，而以前的版本也是用您辛苦赚来的钱买的，还没有尘土飞扬，该怎么办？ 解决方案很简单-可以在新iPhone上获得可观的折扣，从而退还旧的iPhone。 为此，您甚至不需要离开屋子：
使业务增长的产品成为产品经理的基础。 产品应该成为第一要务，是为公司带来收益的工作。 必须始终记住这一点。
也许在这个积极的印象和完成。 如果主题很有趣，请
观看完整视频 。 同时，您将看到其他情况和其他详细信息。
在课程中见！