オーディオ to MIDI
録音を聴き取り、どの音がいつ、どの強さで鳴ったかをMIDIノートとして書き出す処理。
単旋律であれば、実質的にはピッチ検出に「音の始まりと終わりの判定規則」を足したものであり、1980年代のギターシンセの頃からそれなりに機能してきた。和音になると話は別である。響きの中で倍音が重なり、ある音の基音が別の音の倍音に見えてしまう。
CelemonyのMelodyneが2009年にポリフォニック解析を導入し、Ableton Live 9は2013年にメロディ、ハーモニー、ドラムをMIDIに変換するコマンドを加えた。2022年にSpotifyが公開したオープンソースのBasic Pitchはニューラルネットワークを使う。出力は結局ピアノロールで手直しが要り、1オクターブ上に現れる幽霊ノートがこの分野のお約束である。