A/B testing Split testing
Si mostrano due varianti (A = controllo, B = trattamento) a utenti scelti a caso e si misura quale funziona meglio rispetto a una metrica. Pratica standard nell'ottimizzazione di prodotto.
Base statistica: test t o inferenza bayesiana. La potenza statistica richiede campioni ampi (di solito migliaia di utenti per variante). Strumenti: Optimizely, VWO, Google Optimize (chiuso nel 2023), Statsig, LaunchDarkly, GrowthBook (open source), Eppo. Booking.com esegue oltre 1000 esperimenti in contemporanea. Rischi: il peeking (fermarsi in anticipo), il paradosso di Simpson, l'effetto novità. Oggi: pipeline di sperimentazione continua con feature flag.