A/Bテスト設計の3原則

概要

雑なA/Bテストは雑な意思決定の元。仮説/サンプル/期間を事前に決めて初めて意味を持つ。

要点

• 仮説を明文化（「変更X→指標Y が Z%改善」）
• 必要サンプルサイズを事前計算（検出力80%、α=0.05）
• テスト期間も事前確定（途中で止めない）
• 同時に複数テストを走らせない（交絡）
• 勝ち負けが出たら「なぜ」を分析

対象読者

• プロダクトマネージャー
• マーケ
• グロース

効果

勘ではなくデータで意思決定。改善打率が3倍に。