DDSP(微分可能DSP)
ニューラルネットにサンプルを一つずつ生成させるのではなく、従来の合成部品を操縦させるという発想。
2020年にGoogleのMagentaチーム(Jesse Engelら)が発表した。ネットワークはピッチ、各倍音の音量、フィルタ済みノイズの形を予測し、加算合成器とコンボリューションリバーブがそれを音にする。全段が微分可能なので、チェーン全体を勾配降下法でエンドツーエンドに学習できる。発振器やフィルタの振る舞いはあらかじめ組み込まれており、ネットワークが学ぶ必要はない。
その結果、WaveNet系より数百分の一の小ささのモデルが、数分の録音だけで学習できる。見せ場は音色変換で、メロディを歌えばバイオリンやフルートで返ってくる。DDSP自体が製品になることはなかったが、学習と既知の信号処理を組み合わせるという考え方は、音声コーデックやプラグインに広がった。