『勝った』と言われたA/Bテスト——そもそも有意なのか確かめるまで

フィンテックでの最初の本格的な仕事は、オンボーディングのA/Bテストのレポートを書くことでした。バリアントの完了率は4.5%、コントロールは4.1%で、グロースリードはすでに全体展開の話をしていました。実際に数字を回してみると、テストは各アーム約1,800ユーザーで、このリフトは統計的に有意ではありませんでした。差の信頼区間は余裕でゼロをまたいでいたのです。さらに、実験は4日間しか走っておらず平日ユーザーに偏っていたうえ、片方のアームだけがマーケティングメールの一斉配信に当たっていたことにも気づきました。私は二標本の比率のz検定を行い、p値と信頼区間を報告し、これほど小さいリフトを確実に検出するには数倍のユーザーが必要だという大まかな検出力計算も示しました。みんなが「イエス」を欲しがっていたので、気まずい状況でした。私は「バリアントの方が悪い」とは言わず、「まだ良いとは結論できません。結論するために必要なサンプルサイズはこれです」と伝えました。結局テストは丸2週間に延長されました。最終的には本物の、ただし当初より小さいリフトとして着地しました。私が学んだのは、部屋の全員が勝ちを欲しがっているときでも、意思決定を偽陽性から守るのが自分の仕事だ、ということです。