カテゴリ AI音声認識
whisper-diarization とは
本プロジェクトは Whisper の自動音声認識(ASR)、音声活動検出(VAD)、話者埋め込みを組み合わせたオープンソースの仕組みと紹介され、音声の発声部分を取り出して話者埋め込みの精度を高めると説明されている。 Whisper で文字起こしを作り WhisperX でタイムスタンプを補正・整列し、タイムスタンプに基づく語ごとの話者判定を結び付ける。
できること
- Whisper ASR で高品質の文字起こしを生成する
- 音声活動検出で無音を除く
- 話者埋め込みで話者を識別する
- WhisperX でタイムスタンプを補正し整列する
処理の流れ
- MarbleNet が VAD と分割を行い無音部分を落とす
- TitaNet が各区間の話者埋め込みを抽出する
- 結果を WhisperX のタイムスタンプに結び付け語ごとの話者を判定する
- 句読点モデルで再整列し小さな時間のずれを補う
導入の手順
- FFMPEG と Cython を前提条件として導入する
- コードを取得するかダウンロードする
- WhisperX と NeMo のパラメータを必要に応じて調整する
- コマンドラインから引数と音声ファイル名を渡して実行する
長所と短所
✓ 良い点
- バッチ処理による推論で処理効率を高められる
- 発声部分を先に取り出し話者埋め込みの精度を上げる
! 注意したい点
- 前提条件として FFMPEG と Cython の導入が必要
- WhisperX と NeMo のパラメータは設定ファイル内で調整する
よくある質問
どの要素が組み合わさる?
資料は Whisper、WhisperX、MarbleNet、TitaNet、句読点モデル、NeMo のパラメータを挙げる。
最初に必要なものは?
資料は FFMPEG と Cython を前提条件とし、コードの取得を挙げる。
最終評価日: 2026-11-15
その他 AIオーディオツール ツール
すべて見る →-
Accent Guesser 声の録音からアクセントを判定する 無料ツール クリエイターツール オーディオ 音声からテキスト 教育ツール -
AccurateScribe.ai 音声と動画の書き起こし 無料ツール クリエイターツール 動画からテキスト オーディオ 音声からテキスト -
Adobe Podcast ブラウザで録音と音声クリーンアップ 無料ツール クリエイターツール オーディオ 音声からテキスト 音声編集 -
Agilotext フランス語中心の書き起こしと要約 オーディオ 音声からテキスト ポッドキャスト 会議文字起こし 議事録 -
AI Dubbing 登録不要の短い動画の吹き替え 無料ツール 動画翻訳 オーディオ ナレーション コンテンツローカライズ -
AI Mastering オンライン自動マスタリング 無料ツール フリーミアムツール オーディオ ポッドキャスト