AB测试是为Web或App界面或流程制作两个（A/B）或多个（A/B/n）版本，在同一时间维度，分别让组成成分相同（相似）的访客群组（目标人群）随机的访问这些版本，收集各群组的用户体验数据和业务数据，最后分析、评估出最好版本，正式采用。
产品决策常遇到的挑战：
1、产品优化依靠经验主义，无法保证新的产品一定会有业绩提升；
2、重大产品功能难以决策，无法确定哪个方案最优；
3、成本高，如果改版失败，业绩损失无法挽回
A/B测试的作用
消除客户体验（UX）设计中不同意见的纷争，根据实际效果确定最佳方案；
通过对比试验，找到问题的真正原因，提高产品设计和运营水平；
建立数据驱动、持续不断优化的闭环过程；
通过A/B测试，降低新产品或新特性的发布风险，为产品创新提供保障。
A/B测试与一般工程测试的区别
A/B测试，用于验证用户体验、市场推广等是否正确，而一般的工程测试主要用于验证软硬件是否符合设计预期，因此AB测试与一般的工程测试分属于不同的领域。
实用经验：
1.从简单开始：可以先在Web前端上开始实施。Web前端可以比较容易的通过可视化编辑器制作多个版本和设置目标（指标），因此实施A/B测试的工作量比较小，难度比较低。在Web前端获得经验后，再推广到App和服务器端。
2.隔离变量：为了让测试结果有用，应该每个试验只测一个变量（变化）。如果一个试验测试多个变量（比如价格和颜色），就不知道是哪个变量对改进起了作用。
3.尽可能频繁、快速进行A/B测试：要降低A/B测试的代价，避免为了A/B测试做很多代码修改，尽量将A/B测试与产品的工程发布解耦，尽量不占用太多工程部门（程序员、QA等）的工作量。
4.要有一个“停止开关”：不是每个A/B测试都会得到正向的结果，有些试验可能失败，要确保有一个“开关”能够停止失败的试验，而不是让工程部门发布一个新版本。
5.检查纵向影响：夸大虚假的CTA(Call To Action)可以使某个A/B测试的结果正向，但长期来看，客户留存和销售额将会下降。因此，时刻要清楚我们追求的是什么，事先就要注意到可能会受到负面影响的指标。
6.先“特区”再推广：先在一两个产品上尝试，获得经验后，推广到其他产品中。
