作者：稀饭
1、什么是ABtest？
答：ABtest是一种基于统计学的实验方法。在差评正式迭代发布之前，为同一个目标制定方案，将用户流量对应分成几组，在保证每组用户特征相同的前提下，让用户分别看到不同的产品或活动策略（可以是策略1与策略2，也可以是实验组或对照组），根据几组用户的真实数据反馈，科学地帮助产品经理进行决策。
2、为什么要进行ABtest？
答：ABtest可以让个人、团队和公司根据用户行为结果不断改进用户体验，并且了解为什么修改某些元素会影响用户行为。ABtest不是一次性的，我们可以持续使用ABtest实验，以不断改善用户体验或者产品效果。
3、ABtest的基本原理？
答：ABtest的基本原理是控制变量法。设指标数值 = F({所有不可控变量}, {除方案变量外所有可控变量},{方案变量})。指标的数据表现由函数F和多个变量共同决定，实验时需要控制“{除方案变量外所有可控变量}”一致，并通过实验方法的设计找到“{所有不可控变量}”无显著差异的状态，在该状态下对比A版本和B版本不同的“{方案变量}”对指标数值的影响，才能将最终结果的差异归结于方案变量，输出ABtest的结果。
4、什么是AAtest？
答：在开始ABtest之前，需要先进行与实验周期等长的AAtest。所谓AAtest，就是实验组和对照组上线一模一样的策略，用来检测分组方式本身带来的实验组和对照组的差异，给ABtest实验两组之间的差异提供基线参考。需要注意的是，AAtest和ABtest的实验时间最好一致，这样才能进行后期分析与对比（比如ABtest是从周二开始到下周一结束，则AAtest也应该是从周二开始到下周一结束）。AAtest的结果可以提供给ABtest进行校正分析，如果AAtest实验的结果不显著，那么表明隐变量无显著影响，ABtest的结果就无需校验。
5、什么是最小预期提升（MDE）？
答：在进行ABtest之前，需要有一个心理预期，比如当实验组比对照组至少提升3%的效果时，才认为实验组的方案有实际价值，若没有达到预期提升，即便统计检验是显著的，实验组的方案也不值得被采纳。
6、ABtest最小样本量怎么预估？
答：基于最小提升预期MDE、样本方差σ、第一类错误概率α和第二类错误概率β进行预估。其计算公式为：
其中，α一般取0.05，β一般取0.1或0.2，在比率指标的情况下样本方差σ= p(1-p)。
7、ABtest的基本流程是怎样的？
答：ABtest的基本流程如下所示:
Step 1 明确实验要素。明确实验目的（如折扣券对于用户通过APP下单的影响）、实验单元（打开APP首页的用户）、操纵因子（折扣券）、操纵因子水平（折扣券可能取的值）、因变量（用户在APP上的下单率）、效能（由于操纵因子折扣券的变动导致因变量用户在APP上的下单率的波动）；
Step 2 确定核心指标。即衡量实验组是否优于对照组的重要指标。明确核心指标有助于在复杂的指标大盘结果中找到重点，快速做出决策。特别是在同时订阅多个指标时，有些指标正向，有些指标负向，此时要选出核心指标进行观察，舍弃掉不太重要的指标；
Step 3 提出假设。ABtest的原假设是实验组和对照组之间没有差异，备择假设是实验组和对照组之间有差异；
Step 4 估计最小预期提升MDE；
Step 5 根据预估的最小预期MDE，计算每个实验组最小的样本量；
Step 6 预估实验时长，即需要知道每天大约有多少样本量能进入实验。比如每天预估有10000人进入实验，而每组所需的最小样本量为28000人，则28000 10000 ≈ 3，实验的时长就至少需要3天，一般按一周来进行设计；
Step 7 进行AAtest，以判断隐变量对实验的影响；
Step 8 实验过程监控。需检查分组是否均匀、是否有异常数据；
Step 9 在实验结果波动性平稳后结束实验。进行ABtest最容易犯的一个错误就是看到实验结果可信就立即停止实验，这个做法是错误的，对于很多实验而言，实验前期的显著性是在显著和不显著之间波动的，因此需要足够的样本量和更长的实验周期涵盖实验前期的波动，直到显著性趋于平稳。此外，如果实验中出现异常事件，可能还需要延长实验周期以获取更多有效的样本。
8、多个实验共同进行时，如何控制流量？
答：可以采用流量正交的方法。具体参考下面这篇文章:
https://zhuanlan.zhihu.com/p/440060184
9、实验指标的方差如何控制？
答：在其他条件不变时，实验方差越大，所需要的样本量就越大。当我们知道实验对象在某个因素上的结构差异可能会影响实验结果，但可以控制的时候，可以先将实验单元根据这些影响因素分成若干同质的样本区组，然后分别在这些区组进行相同比例的随机分流，再将分流后的多个实验组、对照组组合为实验组和对照组，最终完成实验，即随机区组设计。
广告区↓
