Nicholas Carlini
Daha fazla bilgi
- Kurum
- UC Berkeley, Google, Anthropic
- Tanınma nedeni
- Carlini–Wagner saldırısı, eğitim verisi çıkarımı
Yayımlanmış makine öğrenmesi savunmalarını, çoğu zaman haftalar içinde kırmayı uzmanlık haline getirmiş güvenlik araştırmacısı.
Berkeley'de David Wagner'ın doktora öğrencisiyken Carlini, 2017'de Carlini–Wagner saldırısını yayımladı: bir görüntü sınıflandırıcısını yanıltacak en küçük bozulmayı bulan bir optimizasyon yöntemi. O dönemde umut vadeden savunma damıtmasını (defensive distillation) aştı ve dayanıklılık ölçümünde standart mihenk taşı oldu. Bir yıl sonra Anish Athalye ve Wagner'le birlikte, ICLR'de kabul edilen birkaç savunmanın saldırıyı durdurmadığını, yalnızca gradyanlarını sakladığını gösterdi.
2021'de GPT-2 gibi dil modellerinin eğitim verisinden isimler ve telefon numaraları dahil birebir parçalar kusmaya ikna edilebildiğini gösterdi. Yıllarca Google ve DeepMind'da çalıştıktan sonra 2025'te Anthropic'e geçti.