可能只有最环保的营销人员和产品经理没有听说过A / B测试，但是即使是经验丰富的专家有时也不知道如何进行测试以及如何处理结果。 因此，您经常会听到A / B测试无效且通常无用的情况。
为了消除谣言，我们与Agima代理商Sergey Filatov的从业人员A / B分析进行了交谈，他向我们介绍了有效的A / B测试方法，有助于对移动应用程序进行测试的工具，以及开辟了掌握此方法的前景技能库。
实际上，A / B测试是致力于从多个测试中选择最佳选项的任何研究。 关键是这个术语的含义很广：这些是营销人员的测试，也是数字产品分析的类型。 当您看到“该公司进行了A / B测试”的情况，并且您需要了解哪个是一般性的还是技术性的时，这通常会引起混乱。 我们将专门讨论用于评估移动应用程序功能的A / B测试。 （但是，这些知识可以轻松地转移到市场研究领域。）
该材料是准备在Skillbox Online University和Fullstack Mobile Developer Agima开设联合课程的系列文章的一部分。 我们已经讨论过如何首次进入AppStore以及如何开发应用程序界面 ，在此过程中给出了10％的折扣和4个20％的折扣。
那些已经解决了两个难题并且想要更多（以增加累计折扣）的人，今天他们将对测试工具感到困惑。 在文字中寻找她！ 其余的habroizer仍然可以使用Habr促销代码以10,000卢布便宜的价格订购任何课程（请记住，这并不等于拆开火车的折扣总和）。
通常将A / B测试视为一种分析工具，使您可以评估产品更改对其转换的影响-转移到订单的潜在客户数量增加。 这里的转换不一定是购买某种东西：这是用户在通过订单渠道时从一个阶段到另一个阶段的任何过渡，以及他与服务的形式和元素的每一次交互。
需要进行A / B测试以：
- 从屏幕或页面的最佳选择中选择；
- 评估更改产品某些指标的可能性；
- 计算替换页面或屏幕上某些元素的有效性；
- 了解如何在销售渠道的每个阶段提高转化率，从而增加其数量；
- 在移动应用程序内部，A / B测试提供了改善用户体验的机会，使您可以更方便地排列元素并使内容更有趣，对用户更有用。
问题陈述
任何A / B检验均始于假设。 它们有两种形式。 第一个是更多的市场营销人员，旨在增加流量，采取特定行动的人数以及明确应用程序针对的受众。 在这种情况下，并不需要测试应用程序本身的功能，而是将其作为营销渠道和每个广告工具的转化来进行测试。 我们将关注第二种假设。
事实是，通过更改一个或另一个内部功能-元素或块，它们之间的关系或它们交互的逻辑-我们可以在应用程序的某些指标上实现更改（但是，所有这些都适用于站点）。
这些假设可能与位于服务屏幕上的元素有关，也可能与服务内部屏幕的连接有关。 不幸的是，由于设置测试的困难，测试屏幕之间的连接在技术上是有问题的，因此通常分析人员仅限于处理特定的块和单个屏幕。
在这种情况下，A / B测试的实质是为一组用户显示了一个用于界面位置或配置的选项，为另一组用户显示了另一种。
这就是谜！ 回想一下，这里的英语可能会干扰俄语，而谜语的主题是可移动的。 并且不要忘记，我们将仔细监控评论并从中删除提示和答案！ 在发送课程申请后，当我们的经理与您联系时，应调用经过加密的序言。 解决难题的折扣是彼此之间进行汇总的（考虑到本文，已经有3个折扣），但网站上没有折扣。 您不应拖延太多-促销有效期至2018年8月30日。
从期望的结果到寻找解决方案
这种假设有一个通用规则：一开始就设置了某个最终指标，我们想要增加或减少该指标。 假设可以根据报告和其他类似的分析信息来制定，但通常都是基于开发人员的启发式假设而进行的，无需特殊准备。
我们首先提出要解决的问题：转换率低，对一个或另一个元素的点击次数少，没有滑动或文档滚动。
然后，我们选择可能导致预期结果的特定操作。 这可以是添加新按钮，更改屏幕上块的排列方式，或者例如，如在Instagram上那样，将菜单的组织方式从左侧的“汉堡”更改为下侧栏。
如何评估Optimizely应用程序中测试变更的有效性的示例。也就是说，我们开始想出各种方法来影响关键指标。 因此，假设采用了完整的形式。
假设的强制成分：
- 公式“如果-那么”；
- 动词-描述与所选元素相关的动作；
- 预期结果的说明。
“ 如果我们增加字体大小并将按钮重新涂成绿色， 则转换率将增加15％ 。”
质量变成数量
使用A / B测试，您可以进行两种类型的研究：定性研究和定量研究。
定性研究旨在与一个人的情感经历合作，以发现他是否喜欢我们使用的解决方案：便于感知，是否影响互动时间。 这样的测试旨在弄清楚用户在使用应用程序或服务时的感受。
定量研究旨在提高目标指标中的某个数字：按钮的点击量，增加销售可能性的提示等。 这是对渠道上的点击次数，点击量，销售量和点击量的干燥计算。
所有需要找到的指标都应转换为数字指标。 例如，问题“用户是否对内容感兴趣”变成了在屏幕上花费的时间，滚动深度，单击某个键元素的指示器。
重要！ 请遵循以下规则：一个屏幕-一个实验。 不要同时检验与同一屏幕上的项目相关的两个假设。 此外，有两个假设与一个元素相关联，否则您将无法处理结果（如果假设的描述表示“交换两个元素”，这是一项操作）。
A / B考试类型和学习深度
多变量测试涉及多个选项的组合。 例如，我们有一个包含按钮和号召性用语的代码块。 在这种情况下，您可以使用不同的调用来形成此按钮的所有可能的类型。 但重要的是要记住，此类测试仅适用于流量较大的大型应用程序。
拆分测试是对整个屏幕的测试，以便了解哪个屏幕引起了更大的响应。 例如，您可以比较不同版本的启动屏幕教程，以了解用户是阅读您准备的技巧还是跳过它们，直接转到应用程序功能。
在常规的逐元素A / B测试框架中，您可以评估标题，链接，菜单位置，号召性用语的质量，各种功能或文本块和插图的存在和有效性，用户与应用程序的交互（取决于设备以及在测试过程中接触到它的用户）应用程序的自适应版本。
有测试A / B / C / N，其中我们不一定只从两个选项中进行选择。 它们也不适合所有服务：它们需要大量流量，否则测试将无法通过统计可靠性的阈值。 为了确保我们不会意外更改关键指示器，应该有足够的用户访问该屏幕。
对于一个小型项目，该项目在测试时仅提供选项A和B，那么很可能有成千上万的人采取了行动。 对于大的，它们的数量可以大得多。
实验的通常持续时间为两周到一个半月。 为了确保没有外部因素影响其进程，这是必要的：例如，广告活动，天气状况或其他因素。 （这里的天气不仅与用户的心情有关，而且还与以下事实有关，例如，对于交付应用程序而言，考虑是否正在下雨很重要-这会影响转换）。
如果您的产品（或其中的特定测试项目）不取决于竞争对手的天气，时尚或营销活动，则可以从前千名用户的行动中得出有关更改是否适当的结论。 收集数据之后，您可以开始解释它们并引入事实证明是合理的更改。
A / B测试工具
由于可以通过控制面板进行灵活的设置，因此在网站上进行实验要容易得多，但幸运的是，有多种针对移动设备的解决方案已确立了最佳做法。
Optimizely是最受欢迎的工具之一。 它具有直观，令人愉快的界面，可视化编辑器以及与类的广泛集成，并具有用于编辑元素功能并通过将新事件附加到元素上来将其挂起的内置功能。 但是，由于价格昂贵，因此并非所有开发人员都可以使用该服务。
五秒钟测试与进行可用性研究以及研究特定块和元素设计的有效性和可理解性更相关。
Convert Experiments是最实惠的平台，订阅该服务的费用为每月9美元起。 同时，它具有可视化编辑器，使测试人员无需使用程序员的技能即可使用元素。 可用的度量标准较少，并且没有这样的高级内部分析，但是为了快速配置A / B测试并运行它，该程序非常适合。
Apptimize拥有内部分析和SDK的更高级系统，它非常容易掌握。 还有一个可视化编辑器。
Google Analytics（分析）实验专注于基于网络的移动应用和混合应用。
A / B测试和应用程序更新
就在几年前，要运行A / B测试，就不必发布应用程序的更新版本：通过在代码中引入某些代码片段，可以即时进行更改。 但是，由于这种方法绕过了Apple和Google的安全策略和限制，因此该功能对开发人员是封闭的。 今天，要进行A / B测试，您需要推出应用程序的更新版本。
学习什么以及在哪里增长
要进行A / B测试，没有必要成为一个出色的分析师-足以理解指标并在其基础上得出正确的结论。
进行A / B测试的专家的主要技能之一是能够将定量指标解释为定性指标，并且相反地，将定性假设分解为可用于分析的数字。
入门专家应该更加熟悉产品分析的规则，因为它的实践比Web分析和电子商务中的实践更接近A / B测试。
研究灵活的方法特别是生产线启动非常有用。 对于测试人员而言，该产品成为他的“内部创业公司”。 因此，这样的决定将非常适合他。 通过访问企业孵化器及其活动，可以获得许多有关进行研究的有用信息； 它也是灵感的有力来源。 您可以在那里看到A / B测试的许多选项-自动和传统测试，例如问卷调查和深度访谈。
当然，还需要处理数字的技能-从进行民意测验到应用数学和计算机科学的经验。 否则，您将无法处理测试结果。
所有这些技能将使您在有需要的情况下逐渐成为战略家，UI / UX分析或产品负责人，甚至可以创建自己的项目。 无论在哪里出现疑问，在哪里不清楚，在哪里寻找土壤，探究听众及其情绪的地方，在所有这些领域中都可以使用在A / B测试中获得的知识。
因此，了解了如何从收集初始数据到假设，开发解决方案并通过后续分析对其进行测试之后，从本质上讲，这些分析隐藏在短期的“ A / B测试”背后，您将能够发现更多的观点。不仅仅是在质量检查或分析人员方面的发展。
Skillbox推荐主题课程：
我们提醒您：对于所有Habr读者-使用Habr促销代码注册任何Skillbox课程时均可享受10,000卢布的折扣。
我们的移动开发系列中仍然有一些材料，是时候问了：您想读什么？ 在评论中告诉我们与手机相关的主题似乎很重要，但尚未充分披露，我们将尽力满足您的兴趣。