DDSP (differentiable DSP)
L'idea di lasciare che una rete neurale pilotasse i classici blocchi della sintesi, invece di generare ogni campione da sola.
Il team Magenta di Google, guidato da Jesse Engel, introdusse DDSP nel 2020. La rete prevede l'altezza, il volume di ciascuna armonica e la forma di un po' di rumore filtrato; un sintetizzatore additivo seguito da un riverbero a convoluzione trasforma il tutto in suono. Poiché ogni stadio è differenziabile, l'intera catena si addestra da un capo all'altro con la discesa del gradiente. La rete non deve imparare come si comportano oscillatori e filtri: quella fisica è già incorporata.
Il vantaggio sono modelli centinaia di volte più piccoli delle reti in stile WaveNet, addestrabili con pochi minuti di registrazioni. Il numero ad effetto era il trasferimento timbrico: si canta una melodia e la si riascolta come violino o flauto. DDSP non è mai diventato un prodotto a sé, ma l'idea di unire apprendimento e elaborazione del segnale ben compresa si è diffusa nei codec vocali e nei plugin.