本文へスキップ

SALMONN

音声・音声イベント・音楽を感知する大規模言語モデル

公式サイトを見る
カテゴリ AI音声認識

SALMONN とは

SALMONN は清華大学電子工学系と ByteDance が開発した大規模言語モデルと紹介され、音声、音声イベント、音楽を入力に取ると説明されている。 さまざまな音声入力を感知して理解し、多言語の音声認識と翻訳、音声と音響の共推論といった新たな能力を得るとしている。

できること

  • 多言語の音声認識を行う
  • 多言語の音声翻訳を行う
  • 音声と音響の共推論を行う

モデルについて

  • プロジェクトは GitHub の https://github.com/bytedance/SALMONN に置かれる
  • 音声、音声イベント、音楽がいずれも入力に挙がる
  • 音声のみや音声イベントのみのモデルと対比される
  • 資料は大規模言語モデルに聴覚と認知的聴覚を与えると説明する

入力例

  • gunshots.wav が入力として挙がる
  • duck.wav が入力として挙がる
  • music.wav が入力として挙がる

長所と短所

✓ 良い点

  • 音声以外の音響入力も感知できる
  • 翻訳と共推論が資料に挙がる

! 注意したい点

  • 挙がる入力の範囲は音声・音声イベント・音楽
  • 資料は聴覚を持つ人工汎用知能への一歩と位置づける

よくある質問

開発元は?

資料は清華大学電子工学系と ByteDance を挙げる。

どんな入力に対応?

資料は音声、音声イベント、音楽を挙げる。

最終評価日: 2026-11-15

その他 AIオーディオツール ツール

すべて見る →

評価方法