Nicholas Carlini
Więcej informacji
- Afiliacja
- UC Berkeley, Google, Anthropic
- Znany z
- Ataku Carlini–Wagner, wyciągania danych treningowych
Badacz bezpieczeństwa, który specjalizuje się w łamaniu opublikowanych zabezpieczeń modeli uczenia maszynowego, często w ciągu kilku tygodni.
Jako doktorant Davida Wagnera w Berkeley Carlini opublikował w 2017 roku atak Carlini–Wagner, metodę optymalizacyjną znajdującą minimalne zaburzenia, przez które klasyfikator obrazów widzi coś innego. Pokonała ona destylację obronną, uważaną wówczas za obiecującą, i stała się standardowym miernikiem odporności. Rok później wraz z Anishem Athalye i Wagnerem pokazał, że kilka zabezpieczeń przyjętych na ICLR jedynie maskowało gradienty, zamiast powstrzymywać atak.
W 2021 roku wykazał, że modele językowe, takie jak GPT-2, można nakłonić do dosłownego powtarzania fragmentów danych treningowych, łącznie z nazwiskami i numerami telefonów. Po latach w Google i DeepMind przeszedł w 2025 roku do Anthropic.