实验引爆用户增长：A/B测试最佳实践

A/B测试是什么？怎么做？有什么作用呢？本篇文章为大家分享了几种应用场景及案例，告诉大家如何在团队中有效推进A/B测试。

在互联网下半场竞争中实现科学增长，切实让A/B测试发挥增长引擎的作用是应有之义。

本文分享了A/B测试对业务转化率提升带来的价值，以及如何在团队中有效推进A/B测试及A/B测试系统科学设计实践等内容。

一、今日头条增长秘籍：A/B测试驱动

抖音可以说是现在增长最火热的公司，流行于大街小巷行走的人们手机之中，它让腾讯感到深深的危机感，被迫应对，从2017年下半年开始，抖音就呈现出现象级爆发式增长。

其母公司字节跳动，估值750亿美元，本身就是一个非常讲究实验、以A/B测试驱动科学增长的公司。

A/B测试对头条系产品来讲是很自然的事情，整个公司从最高管理层张一鸣开始就非常注重。36Kr曾在一篇报道中写道，“头条发布一个新APP，其名字都必须打N个包放到各大应用市场进行多次A/B测试而决定，张一鸣告诉同事：哪怕你有99.9%的把握那是最好的一个名字，测一下又有神马关系呢？”

今日头条从起名字开始就运用了数据思维，创始团队没有头脑风暴，没有投票，没有老大拍板儿，而是采用科学实验的方式，通过数据观测确定了头条的名称。

他们将App Store上各类免费榜单的前10名整理出来，然后根据名字归类（朗朗上口白话类，内涵情怀类，模拟特殊声音类，公司名+用途类等），分析那各类数量占比。分析结论是朗朗上口的大白话效果最好。

其次，分渠道A/B测试，确定先验效果类似的发布渠道，分别投放，界面功能logo完全一样，统计各个渠道的用户下载和活跃等核心数据指标，最后测得《今日头条》效果最好。

二、什么是A/B测试？

A/B 测试是一种产品优化的方法，为同一个优化目标制定两个方案（比如两个页面），让一部分用户使用 A 方案，同时另一部分用户使用 B 方案，统计并对比不同方案的转化率、点击量、留存率等指标，以判断不同方案的优劣并进行决策。

上面图示就是一个典型的A/B测试范例。

在A/B测试比较成熟的公司中，可能并不局限于只有A、B两个版本，可能会有ABC测试、ABCD测试，甚至是ABCDE测试。

有一些情况，可能会出现比较特殊的A/B测试，比如说AAB测试，因为需要验证整个AB测试系统的准确度，需要设置两个对照组，所以叫AAB测试。

不管同时运行几个实验，我们都可以将它们统称为A/B测试，英文为ABtest或ABtest。

结合公开数据和行业深度调查，我们整理了行业A/B测试频率概览图，其中可以看到，公司市值或体量与A/B测试频率呈正相关关系。

像谷歌等大体量公司，它本身具有较为成熟的A/B测试系统与数据分析平台，平均每周A/B测试就多达2000个A/B测试，其中包括一些相对复杂的实验，如推荐算法A/B测试，也有相对简单的A/B测试。至于国内BAT等一线互联网公司，它们每周也会进行上百个A/B测试。

在与我们合作的大部分公司当中，行业分布广泛，比如互联网金融、电商、O2O等厂商，它们自身没有能力和精力自研一套成熟的A/B测试平台，所以他们选择与Testin A/B测试合作，将A/B测试服务快速应用到业务中。

比如，某互联网金融用户，在使用Testin A/B测试前，每周只能做0.1个A/B测试，使用了云测A/B测试服务后，大大提升了A/B测试频率，每周跑大概30个A/B测试实验。

当然，在其每周30个实验中，约有1/3的实验会取得转化率指标提升5%-30%的效果，剩余2/3的实验效果并不理想，未取得较好的数据指标提升。

通过这个例子，我们可以看出，大概2/3的产品设想并不符合预期，就是说转化率其实没有原始版本好。这个也是为什么需要A/B测试的根本原因，凭借产品直觉去做产品决策，但2/3的改进并不是最优解。

上述图表展示的是微软必应搜索引擎A/B测试增长曲线，覆盖Bing从2008年到2015年的时间的A/B测试实验增长情况。

可以看到，在Bing产品初期，每周A/B测试频率维持在10~50个，到2012年之后，Bing A/B测试每周频率进入快速增长。