作者:稀饭
1、SUTVA的概念
SUTVA(个体处理稳定性假设)是指在AB实验分析中,假设实验中每个实验参与单元的行为是相互独立的。对于以用户为实验参与单元的情况来说,独立的意思就是一个用户的行为不受其他用户的影响,例如领取了红包的用户更愿意回到APP里完成消费,并且这个行为独立于其他用户。实验参与单元满足SUTVA是实验分析的前提,如果实验单元不符合SUTVA,得到的实验结论大概率是无效的。
2、AB实验中的因果分析
(1)AB实验中的因果分析主要基于Rubin Causal Model(RCM)进行,这是AB实验分析的一个标准框架。RCM有3个基本要素,分别是“潜在结果”、“SUTVA”和“分配机制”。其中,潜在结果是指:给定一个实验单元和一系列动作,把一个“实验单元-动作”确定为一个潜在结果。“潜在”这个词表达的含义是并不总能在现实中观察到这个结果,但理论上可能发生。
(2)因果推断的基础问题是,对于同一个实验单元,最多只有一个潜在结果被实现,从而只有一个潜在结果能被观测到,总有一个观测不到,即缺失值。
(3)RCM模型是在3个基本要素的共同作用下才能进行因果效应的估计,所以实验参与单元需要满足SUTVA。
3、导致SUTVA不成立的常见原因
(1)直接干扰
如果两个实验单元是社交网络上的熟人,或者同时访问相同的物理空间,则两个单元可以直接连接。由于两个直接相连的单元可以分为实验组和对照组,因此在两个组之间会造成干扰。
(2)间接干扰
通过某些潜在变量或者共享资源,两个实验单元可以有间接连接。与直接连接一样,这些间接连接也可能对实验效果造成干扰。此外,间接干扰的情况更为普遍。
4、解决SUTVA不成立的问题的常见方法
(1)建立监控和报警
虽然不是每个实验都能获得精确的测量,但重要的是要有一个强大的检测和警报系统来检测这些极端干扰问题。例如,实验期间所有的广告收入都来自预算受限的广告商或者不受预算约束的广告商,那么实验结果在推出后就不能再推广了。
(2)隔离法
对连接实验组和对照组的介质进行干预,可以通过识别连接介质并隔离用户来消除潜在的干扰。但需要注意的是,要创建隔离,需要考虑其他实验设计,以确保实验单元和对照单元能够很好的分开。常用的隔离方法包括“共享资源隔离”、“地理位置隔离”、“网络族群隔离”等。
(3)其他方法
例如边缘度分析、生态经验法和双边随机化法等。
广告区↓