STFT (кратковременное преобразование Фурье)
Преобразование Фурье, взятое на коротких перекрывающихся окнах, так что видно не только какие частоты есть, но и когда они появляются.
Обычный БПФ по целой песне сообщит, что где-то там есть 440 Гц, но не где именно. STFT режет сигнал на куски примерно по 1024 или 2048 отсчётов, умножает каждый на оконную функцию, сдвигается на шаг и повторяет. На выходе — сетка комплексных чисел «время × частота». Компромисс не обойти: длинные окна дают чёткую частоту и размытое время, короткие — наоборот. Деннис Габор сформулировал это ещё в 1946 году.
При подходящем окне и перекрытии преобразование обращается методом overlap-add, и тогда это верстак, а не просто измеритель. На нём работают фазовый вокодер, шумоподавление и мел-спектрограммы, которые скармливают речевым моделям. Спектрограмма — лишь его амплитуда, раскрашенная в цвета.