DDSP (differentiable DSP)
Het idee om een neuraal netwerk klassieke synthesebouwstenen te laten aansturen, in plaats van elke afzonderlijke sample zelf te genereren.
Het Magenta-team van Google, onder leiding van Jesse Engel, introduceerde DDSP in 2020. Het netwerk voorspelt toonhoogte, het volume van elke harmonische en de vorm van wat gefilterde ruis; een additieve synthesizer gevolgd door een convolutiehal maakt daar geluid van. Omdat elke stap differentieerbaar is, kan de hele keten end-to-end met gradient descent worden getraind. Het netwerk hoeft dus niet te leren hoe oscillatoren en filters zich gedragen: die natuurkunde zit er al in.
Het resultaat zijn modellen die honderden keren kleiner zijn dan netwerken in WaveNet-stijl en die op enkele minuten opgenomen materiaal te trainen zijn. Het showstuk was timbre-overdracht: zing een melodie en krijg haar terug als viool of fluit. DDSP werd nooit zelf een product, maar het idee om leren te combineren met goed begrepen signaalverwerking heeft zich verspreid naar spraakcodecs en plug-ins.