Whisper
詳細情報
- 開発者
- OpenAI
- 公開
- 種別
- 自動音声認識（ASR）
- ライセンス
- MIT（オープンウェイト）
- ソースコード
- github.com/openai/whisper
OpenAIの音声認識モデル。2022年9月にMITライセンスのオープンウェイトで公開され、高品質な自動文字起こしを誰でもローカルで動かせるものにした。
Web上の弱ラベル付き音声68万時間で学習したエンコーダ–デコーダ型のtransformerだ。丁寧に整えたデータではなく、品質・ノイズ・訛りがばらばらの膨大な実音声で学んだため、従来のシステムが崩れる場面でも頑健に動く。約90言語に対応し、少数言語でも高い精度を示し、英語への直接翻訳もできる。サイズはtinyからlarge-v3まである。既知の弱点は無音時のハルシネーションで、何も話されていないのにモデルが文を捏造する。2024年の調査では医療の文字起こしでも起きていたことが示された。高速版にfaster-whisperとwhisper.cppがある。