DDSP (procesamiento de señal diferenciable)
La idea de que una red neuronal controle los bloques clásicos de síntesis en lugar de generar cada muestra por sí misma.
El equipo Magenta de Google, encabezado por Jesse Engel, presentó DDSP en 2020. La red predice la altura, la intensidad de cada armónico y la forma de un ruido filtrado, y un sintetizador aditivo seguido de una reverberación por convolución lo convierte en sonido. Como todas las etapas son derivables, la cadena entera se entrena de una vez con descenso de gradiente. La red no tiene que aprender cómo se comportan osciladores y filtros: esa física ya viene incluida.
El resultado son modelos cientos de veces más pequeños que las redes tipo WaveNet, entrenables con minutos de material grabado. El número estrella era la transferencia de timbre: cantar una melodía y recibirla convertida en violín o flauta. DDSP nunca fue un producto en sí, pero la idea de combinar aprendizaje con procesamiento de señal bien conocido se ha extendido a códecs de voz y plugins.