本文へスキップ

whisper-diarization

Whisper で文字起こしし話者を割り当てる

公式サイトを見る
カテゴリ AI音声認識

whisper-diarization とは

本プロジェクトは Whisper の自動音声認識(ASR)、音声活動検出(VAD)、話者埋め込みを組み合わせたオープンソースの仕組みと紹介され、音声の発声部分を取り出して話者埋め込みの精度を高めると説明されている。 Whisper で文字起こしを作り WhisperX でタイムスタンプを補正・整列し、タイムスタンプに基づく語ごとの話者判定を結び付ける。

できること

  • Whisper ASR で高品質の文字起こしを生成する
  • 音声活動検出で無音を除く
  • 話者埋め込みで話者を識別する
  • WhisperX でタイムスタンプを補正し整列する

処理の流れ

  • MarbleNet が VAD と分割を行い無音部分を落とす
  • TitaNet が各区間の話者埋め込みを抽出する
  • 結果を WhisperX のタイムスタンプに結び付け語ごとの話者を判定する
  • 句読点モデルで再整列し小さな時間のずれを補う

導入の手順

  • FFMPEG と Cython を前提条件として導入する
  • コードを取得するかダウンロードする
  • WhisperX と NeMo のパラメータを必要に応じて調整する
  • コマンドラインから引数と音声ファイル名を渡して実行する

長所と短所

✓ 良い点

  • バッチ処理による推論で処理効率を高められる
  • 発声部分を先に取り出し話者埋め込みの精度を上げる

! 注意したい点

  • 前提条件として FFMPEG と Cython の導入が必要
  • WhisperX と NeMo のパラメータは設定ファイル内で調整する

よくある質問

どの要素が組み合わさる?

資料は Whisper、WhisperX、MarbleNet、TitaNet、句読点モデル、NeMo のパラメータを挙げる。

最初に必要なものは?

資料は FFMPEG と Cython を前提条件とし、コードの取得を挙げる。

最終評価日: 2026-11-15

その他 AIオーディオツール ツール

すべて見る →

評価方法