WhisperX
Więcej informacji
- Twórca
- Max Bain (Oxford)
- Rok
- Typ
- Nakładka na Whisper ze znacznikami czasu na poziomie słów i diaryzacją
- Licencja
- BSD-4
- Kod źródłowy
- github.com/m-bain/whisperX
Nakładka na Whisper, która dodaje znaczniki czasu na poziomie słów dzięki „wymuszonemu wyrównaniu” (forced alignment), diaryzację mówców przez pyannote — i działa 70 razy szybciej dzięki wsadowej inferencji.
Własne znaczniki czasu Whispera są na poziomie segmentów (5–30 sekund) i często nieprecyzyjne. WhisperX uruchamia model wyrównania wav2vec 2.0 dla poziomu słów (precyzja ok. 20 ms). Dla przepustowości używa backendu faster-whisper (CTranslate2). Moduł diaryzacji pyannote przypisuje każde słowo do mówcy. Standardowy zestaw narzędzi dla przepływów „transkrypcja + diaryzacja” od 2024 roku.