DDSP (różniczkowalne DSP)
Pomysł, by sieć neuronowa sterowała klasycznymi klockami syntezy dźwięku, zamiast generować każdą próbkę samodzielnie.
Zespół Magenta z Google, kierowany przez Jessego Engela, przedstawił DDSP w 2020 roku. Sieć przewiduje wysokość dźwięku, głośność poszczególnych harmonicznych i kształt filtrowanego szumu, a synteza addytywna z pogłosem splotowym zamienia to w dźwięk. Ponieważ każdy etap jest różniczkowalny, cały łańcuch można trenować od końca do końca metodą spadku gradientowego. Sieć nie musi uczyć się, jak zachowują się oscylatory i filtry — ta fizyka jest już wbudowana.
Zyskiem są modele setki razy mniejsze niż sieci w stylu WaveNet, trenowane na kilku minutach nagrań. Sztuczką pokazową był transfer barwy: zaśpiewasz melodię, a dostaniesz ją z powrotem jako skrzypce lub flet. DDSP nie stał się własnym produktem, ale idea łączenia uczenia z dobrze poznanym przetwarzaniem sygnałów przeniknęła do kodeków mowy i wtyczek.