DDSP (дифференцируемая цифровая обработка сигналов)
Идея поручить нейросети управление классическими блоками синтеза, а не генерацию каждого отсчёта самой.
Команда Magenta из Google под руководством Джесси Энгеля представила DDSP в 2020 году. Сеть предсказывает высоту тона, громкость каждой гармоники и форму отфильтрованного шума, а аддитивный синтезатор с конволюционной реверберацией превращает это в звук. Поскольку каждый этап дифференцируем, всю цепочку можно обучать end-to-end градиентным спуском. Сети не нужно учиться тому, как ведут себя осцилляторы и фильтры: эта физика уже встроена.
Результат — модели в сотни раз меньше сетей типа WaveNet, обучаемые на нескольких минутах записи. Коронным номером стал перенос тембра: напеваете мелодию — получаете её в исполнении скрипки или флейты. Самостоятельным продуктом DDSP не стал, но идея сочетать обучение с хорошо изученной обработкой сигналов прижилась в речевых кодеках и плагинах.