Test A/B
Montrer deux variantes (A = témoin, B = traitement) à des utilisateurs choisis au hasard, puis mesurer laquelle performe le mieux sur une métrique. Pratique standard en optimisation produit.
Base statistique : test de Student ou inférence bayésienne. La puissance statistique exige du volume — typiquement des milliers d'utilisateurs par variante. Outils : Optimizely, VWO, Google Optimize (RIP 2023), Statsig, LaunchDarkly, GrowthBook (open source), Eppo. Booking.com fait tourner plus de 1000 expériences en parallèle. Risques : le peeking (arrêter trop tôt), le paradoxe de Simpson, l'effet de nouveauté. Approche moderne : pipeline d'expérimentation continue couplé aux feature flags.