WhisperX
Daha fazla bilgi
- Geliştiren
- Max Bain (Oxford)
- Yayın
- Tür
- Sözcük düzeyinde zaman damgası ve konuşmacı ayrıştırma ekleyen Whisper sarmalayıcısı
- Lisans
- BSD-4
- Kaynak
- github.com/m-bain/whisperX
Whisper'ın üzerine "zorlamalı hizalama" ile sözcük düzeyinde zaman damgaları, pyannote ile konuşmacı ayrıştırma ekleyen ve toplu çıkarımla 70 kat daha hızlı çalışan bir sarmalayıcı.
Whisper'ın kendi zaman damgaları bölüt düzeyindedir (5-30 saniye) ve çoğu kez kaymıştır. WhisperX, sözcük düzeyinde (yaklaşık 20 ms hassasiyet) bir wav2vec 2.0 zorlamalı hizalama modeli çalıştırır. Verim için faster-whisper arka ucunu (CTranslate2) kullanır. pyannote ayrıştırma modülü her sözcüğü bir konuşmacıyla etiketler. 2024 sonrası "yazıya dök + konuşmacıları ayır" iş akışlarının standart araç takımıdır.