A/Bテスト
二つの案（A＝対照群、B＝試験群）をランダムに選んだユーザーに見せ、どちらが指標で優れるかを測る手法。プロダクト最適化の定番だ。
統計的な基礎はt検定やベイズ推定である。統計的検出力を確保するには、通常は案ごとに数千人規模のサンプルが要る。ツールにはOptimizely、VWO、Google Optimize（2023年終了）、Statsig、LaunchDarkly、オープンソースのGrowthBook、Eppoなどがある。Booking.comは1000件以上の実験を同時に走らせている。落とし穴は、途中で結果を覗いて早期に打ち切ること、シンプソンのパラドックス、目新しさ効果。近年はフィーチャーフラグと組み合わせた継続的な実験パイプラインが主流だ。