本文へスキップ

SpeechGPT

モーダル横断の対話を持つマルチモーダル言語モデル

公式サイトを見る
カテゴリ AI音声合成

SpeechGPT とは

SpeechGPT は内在的なモーダル横断の対話能力を持つマルチモーダル言語モデルと紹介される。マルチモーダルな内容の知覚と生成を行い、人間からのマルチモーダルな指示に従う。

できること

  • マルチモーダルな内容を知覚し生成する
  • 情報連鎖により音声を生成する
  • マルチモーダルな複数エージェントで人間の意思伝達を模す
  • 統一された音声のトークン化を行う

モデルについて

  • SpeechGPT はマルチモーダルな対話生成を扱う
  • SpeechGPT-Gen は情報連鎖を拡張した音声生成モデル
  • SpeechAgents は複数エージェントで人間の意思伝達を模す
  • SpeechTokenizer は音声言語モデル向けの統一トークナイザ

長所と短所

✓ 良い点

  • 一つのモデルで知覚と生成をまとめて扱う
  • 音声言語モデル向けの統一トークナイザを備える

! 注意したい点

  • 挙がる用途は名前の付いた各モデルに集中する
  • 各能力は別々のコンポーネントが担う

よくある質問

どんなモデル?

資料は内在的なモーダル横断の対話能力を持つマルチモーダル言語モデルと説明。

どんな要素が挙がる?

SpeechGPT のほか SpeechGPT-Gen、SpeechAgents、SpeechTokenizer が挙がる。

最終評価日: 2026-11-15

その他 AIオーディオツール ツール

すべて見る →

評価方法