Nicholas Carlini
Más información
- Afiliación
- UC Berkeley, Google, Anthropic
- Conocido por
- El ataque Carlini–Wagner, extracción de datos de entrenamiento
El investigador de seguridad que ha convertido en especialidad romper las defensas publicadas para modelos de aprendizaje automático, a menudo en cuestión de semanas.
Como doctorando de David Wagner en Berkeley, Carlini publicó en 2017 el ataque Carlini–Wagner, un método de optimización que encuentra perturbaciones mínimas para que un clasificador de imágenes vea lo que no hay. Tumbó la defensive distillation, entonces prometedora, y se convirtió en la vara de medir la robustez de una red. Un año después, con Anish Athalye y Wagner, mostró que varias defensas aceptadas en ICLR solo escondían los gradientes en lugar de frenar el ataque.
En 2021 demostró que modelos de lenguaje como GPT-2 pueden ser inducidos a repetir fragmentos literales de sus datos de entrenamiento, nombres y teléfonos incluidos. Tras años en Google y DeepMind, pasó a Anthropic en 2025.