一个被告知“赢了”的 A/B 实验——直到我去核实它到底显不显著

我在一家金融科技公司的第一个正经项目,是给一个引导流程的 A/B 实验写结论解读。实验组的完成率是 4.5%,对照组是 4.1%,增长负责人已经在张罗着要全量铺开了。我真去算了一下,这个实验每一组大概只有 1800 个用户,而这点提升在统计上并不显著——差值的置信区间轻轻松松就跨过了零。我还注意到这个实验只跑了四天,所以样本偏向工作日的用户,而且其中一组还赶上了另一组没赶上的一波营销邮件轰炸。我做了个两比例的 z 检验,报出了 p 值和区间,又做了个粗略的功效计算,说明要想可靠地检测出这么小的提升,我们得要好几倍的用户量才行。这挺尴尬的,因为大家想要的是一个“行”。我没说“实验组更差”,我说的是“目前还没法断定它更好,而这里是要达成这个结论所需的样本量”。最后我们把实验延长到了整整两周。它后来确实落地了,只是提升更小、但是真实的。我从中学到的是:我的工作就是保护这个决策不被一个假阳性带偏,哪怕屋里所有人都想要那个胜利。