WhisperX
詳細情報
- 作成者
- Max Bain（オックスフォード大学）
- 公開
- 種類
- 単語レベルのタイムスタンプと話者分離を備えたWhisperのラッパー
- ライセンス
- BSD-4
- ソースコード
- github.com/m-bain/whisperX
Whisperのラッパー。「強制アライメント」で単語レベルのタイムスタンプを付け、pyannoteによる話者分離も加え、バッチ推論で最大70倍高速に動く。
Whisper自身のタイムスタンプは区間単位（5〜30秒）で、ずれていることも多い。WhisperXはwav2vec 2.0の強制アライメントモデルを走らせ、単語単位（約20ミリ秒の精度）にする。スループットのためにfaster-whisperバックエンド（CTranslate2）を使い、pyannoteの話者分離モジュールが各単語に話者ラベルを付ける。2024年以降の「文字起こし＋話者分離」の標準ツールキット。