本文へスキップ

AudioSep

自然言語の問いで音源を分離する

公式サイトを見る

audiosep とは

本モデルは自然言語のクエリを入力に取る開放領域の音源分離の仕組みと説明されている。

できること

  • 混ざった音からギターの音を抜き出す
  • 歌う声だけを別に取り出す
  • 雑音のある録音で音声を強調する

主な特徴

  • テキストエンコーダと分離モデルの組
  • 音イベントと楽器の分離という課題
  • 資料で触れられる強いゼロショット汎化

補足事項

  • 学習は大規模なマルチモーダルデータによる
  • 評価は分離と音声強調にまたがる
  • ソースコードと評価基盤の公開が予定される

長所と短所

✓ 良い点

  • 自然言語のクエリが分離を動かす
  • 資料ではソースコード、評価基盤、事前学習モデルの公開が予定される

! 注意したい点

  • 構成は二つの独立した要素に依る
  • クエリはキャプションかテキストラベルに限られる

よくある質問

二つの要素は何?

資料ではテキストエンコーダと分離モデルが名指しされている。

どのクエリに対応?

資料では音声キャプションまたはテキストラベルが挙げられている。

最終評価日: 2026-11-15

その他 AIオーディオツール ツール

すべて見る →

評価方法