Nicholas Carlini
Mer info
- Verksam vid
- UC Berkeley, Google, Anthropic
- Känd för
- Carlini–Wagner-attacken, extrahering av träningsdata
Säkerhetsforskaren som har gjort det till en specialitet att knäcka publicerade försvar för maskininlärningsmodeller, ofta inom veckor.
Som doktorand hos David Wagner i Berkeley publicerade Carlini 2017 Carlini–Wagner-attacken, en optimeringsmetod som hittar minimala störningar som får en bildklassificerare att se fel. Den slog ut defensive distillation, ett försvar som då ansågs lovande, och blev standardmåttet för hur robust ett nätverk är. Året därpå visade han, med Anish Athalye och Wagner, att flera försvar på ICLR-konferensen bara gömde gradienterna i stället för att stoppa attacken.
2021 visade han att språkmodeller som GPT-2 kan förmås upprepa ordagranna stycken ur träningsdatan, inklusive namn och telefonnummer. Efter åren på Google och DeepMind gick han 2025 till Anthropic.