Nicholas Carlini
Plus d'infos
- Affiliation
- UC Berkeley, Google, Anthropic
- Connu pour
- L'attaque Carlini–Wagner, l'extraction de données d'entraînement
Le chercheur en sécurité qui s'est fait une spécialité de casser, souvent en quelques semaines, les défenses publiées pour les modèles d'apprentissage automatique.
Doctorant de David Wagner à Berkeley, Carlini publie en 2017 l'attaque Carlini–Wagner, une méthode d'optimisation qui trouve les perturbations minimales faisant se tromper un classifieur d'images. Elle a déjoué la distillation défensive, alors jugée prometteuse, et est devenue l'étalon de la robustesse. Un an plus tard, avec Anish Athalye et Wagner, il montre que plusieurs défenses acceptées à l'ICLR se contentaient de masquer leurs gradients au lieu d'arrêter l'attaque.
En 2021, il démontre que des modèles de langage comme GPT-2 peuvent être amenés à recracher mot pour mot des pans de leurs données d'entraînement, noms et numéros de téléphone compris. Après des années chez Google et DeepMind, il rejoint Anthropic en 2025.