用AB实验分析个人中心的首页改版

由于电商APP的大改版，所以个人中心的首页也在改版队伍中。为了更加准确地找到首页改版的关键点，笔者采用了AB实验的形式，逐项通过各项数据指标进行分析，确定新版本改版效果。

报告内容：

分析报告面向的角色是产品经理，挑选的分析场景是经常遇到的产品优化中的效果验证，使用的分析工具包括友盟+移动统计（U-App AI版）、内部数据产品。

文章结构：

项目背景

实验期监测

数据复盘

迭代方向

以下数据均作特殊（脱敏）处理，非真实数据，仅供分析落地参考。

一、项目背景

为配合电商App的大改版，上级也对个人中心的界面风格提出新的要求，因此也提出个人中心首页改版的要求。

1.1 改版分析

个人中心首页作为信息分流类页面，核心是快速将用户导航到所需的的功能模块。

其次，除了导航到不同的功能模块，还提供商品推荐、引导邮箱验证等内容（重点在于效果复盘，前期需求分析不做赘述）。

因此可以根据页面的功能定位及现有提供的功能，制定本次改版目标。

1.2 改版目标

（1）优化个人中心首页的功能导航，使用户快速找到相应功能板块，降低个人中心的平均停留时间。

（2）推荐产品改为铺开展示，增加个人中心首页推荐位产品曝光量，提高个人中心首页推荐位的交易量。

（3）邮箱验证新增积分奖励提示，促使更多用户完成邮箱验证，提高用户邮箱验证数。

1.3 实验方式

新旧版个人中心首页同时在线，通过分流工具进行流量划分，保证实验中的新旧样本数量基本一致。

1.4 实验时间

2018年11月16日-2018年11月29日

1.5 实验样本

旧版会话数：500000；新版会话数：499999

页面数据的对比是两个版本同期在线，相近样本数量下的数据表现。

交易数据的对比是改版前后新旧版本推荐位交易次数对比。

二、实验期监测

AB实验期间，会根据既定的改版目标，重点监控AB版本核心指标的对比情况，以便调整AB实验的分流策略。

为保证初期分流比例能使AB版本的测试会话数足够多，避免因基数过小出现对AB实验结果的误判，根据个人中心首页近一个月的流量情况，设定初始实验流量比例为20%。

（即假设平均每日访问个人中心首页的会话数有100000，那么20%的比例参与实验，每个版本每日分到的会话数就都是10000左右）。

2.1 平均停留时间

功能路径：用户洞察-事件分析-新建-页面访问路径

对应指标名：平均访问时长

指标含义：统计日期内，用户对该功能页面的平均使用时长情况；平均停留时间的大小本身并无好坏之分，根据具体场景评估平均停留时间大小的影响。

（以文章页面为例，平均停留时间可能是越大越好；而对于导航类页面，用户能多快就多快找到自己想要的东西，平均停留时长是越小越好。）

2.2 退出百分比

功能路径：基础看板-功能使用-页面访问路径

对应指标名：跳出率

指标含义：统计日期内，该功能页面是否会导致用户退出使用产品；退出百分比的大小本身并无好坏之分，根据具体场景评估退出百分比大小的影响。

（以商品页面为例，退出百分比是越小越好，该类页面的作用还是在流程指引上，并不是流程的终点，要尽可能避免造成用户退出。

而对于支付完成页面，用户已经达成既定交易转化目标，用户可能会退出产品，退出百分比是越大越好。）

2.3 交易次数

功能路径：基础看板-功能使用-自定义事件。

前置工作：在后台注册后，然后在后台成功注册后再进行埋码，将“交易成功”作为事件埋点。

操作：点击对应事件的“查看”操作，即可进行事件的趋势分析。

2.4 邮箱验证数