本文へスキップ

LookOnceToHear

話者を見つめて、聞きたい音声だけを取り出す

公式サイトを見る
カテゴリ AI音声認識

LookOnceToHear とは

本システムはスマートヘッドセットの新しい操作体系と紹介され、少しの間ターゲットの話者を見るだけで聞きたい声を選べる。 合成音声混合、頭部関連伝達関数(HRTF)、両耳室内インパルス応答(BRIR)でリアルタイムの音声抽出を行い、CHI 2024 で論文の名誉ある言及を受けた。

できること

  • ターゲットの話者を数秒見て聞く声を選ぶ
  • Scaper ツールキットで音声混合を合成する
  • 自己完結型のデータセットと JAMS 仕様ファイルで学習する
  • 用意されたチェックポイントでリアルタイム音声抽出を評価する

活用場面

  • 会議で特定の発言者の音声を選んで聞く
  • 騒がしい公共の場で聴覚に障害のある人が会話に集中する
  • 音声分析の研究で複数の音源を区別し抽出する

導入の手順

  • 付属の ZIP ファイルをダウンロードしデータ用ディレクトリに展開する
  • コマンドを実行して学習を始める
  • Scaper の JAMS 仕様ファイルからの生成機能で音声混合を作る
  • 目標音声聴取のチェックポイントをダウンロードして評価に使う

長所と短所

✓ 良い点

  • 学習と評価に使えるチェックポイントが提供される
  • 騒がしい環境での音声認識と抽出に対応する

! 注意したい点

  • 学習は付属の ZIP ファイルと JAMS 仕様ファイルから始める
  • 音声混合の生成は Scaper に依存する

よくある質問

話者はどう選ぶ?

資料はターゲットの話者を数秒見つめて聞きたい声を選ぶと説明。

学習に何が用意される?

資料は自己完結型のデータセット、JAMS 仕様ファイル、Scaper による混合生成、チェックポイントを挙げる。

最終評価日: 2026-11-15

その他 AIオーディオツール ツール

すべて見る →

評価方法