カテゴリ AI音声認識
SALMONN とは
SALMONN は清華大学電子工学系と ByteDance が開発した大規模言語モデルと紹介され、音声、音声イベント、音楽を入力に取ると説明されている。 さまざまな音声入力を感知して理解し、多言語の音声認識と翻訳、音声と音響の共推論といった新たな能力を得るとしている。
できること
- 多言語の音声認識を行う
- 多言語の音声翻訳を行う
- 音声と音響の共推論を行う
モデルについて
- プロジェクトは GitHub の https://github.com/bytedance/SALMONN に置かれる
- 音声、音声イベント、音楽がいずれも入力に挙がる
- 音声のみや音声イベントのみのモデルと対比される
- 資料は大規模言語モデルに聴覚と認知的聴覚を与えると説明する
入力例
- gunshots.wav が入力として挙がる
- duck.wav が入力として挙がる
- music.wav が入力として挙がる
長所と短所
✓ 良い点
- 音声以外の音響入力も感知できる
- 翻訳と共推論が資料に挙がる
! 注意したい点
- 挙がる入力の範囲は音声・音声イベント・音楽
- 資料は聴覚を持つ人工汎用知能への一歩と位置づける
よくある質問
開発元は?
資料は清華大学電子工学系と ByteDance を挙げる。
どんな入力に対応?
資料は音声、音声イベント、音楽を挙げる。
最終評価日: 2026-11-15
その他 AIオーディオツール ツール
すべて見る →-
Accent Guesser 声の録音からアクセントを判定する 無料ツール クリエイターツール オーディオ 音声からテキスト 教育ツール -
AccurateScribe.ai 音声と動画の書き起こし 無料ツール クリエイターツール 動画からテキスト オーディオ 音声からテキスト -
Adobe Podcast ブラウザで録音と音声クリーンアップ 無料ツール クリエイターツール オーディオ 音声からテキスト 音声編集 -
Agilotext フランス語中心の書き起こしと要約 オーディオ 音声からテキスト ポッドキャスト 会議文字起こし 議事録 -
AI Dubbing 登録不要の短い動画の吹き替え 無料ツール 動画翻訳 オーディオ ナレーション コンテンツローカライズ -
AI Mastering オンライン自動マスタリング 無料ツール フリーミアムツール オーディオ ポッドキャスト