本文へスキップ

SpeechGPT2

感情を感じ取り表すエンドツーエンドの音声対話モデル

公式サイトを見る

SpeechGPT2 とは

本モデルは復旦大学計算機科学学院が開発したエンドツーエンドの音声対話言語モデルと紹介され、感情を感じ取り表し、文脈と人間の指示に応じて複数のスタイルで音声を返す。 補足情報は完全なエンドツーエンドの人間に近い音声対話モデルとし、超低ビットレートの音声コーデック (750bps) と MIMO-LM からの初期化に触れる。

できること

  • 音声対話で感情を感じ取り表す
  • ラップ・演劇・ロボット・ユーモア・ささやきなどのスタイルで応答する
  • 音声コーデック (750bps) で意味と音響の情報を扱う
  • 一秒の音声を 25 段の自己回帰デコードで生成する

導入の手順

  • GitHub のページで技術報告とコードを入手する
  • 技術報告を読み構成と機能を理解する
  • 実行に必要なソフトウェアの依存パッケージを導入する
  • 資料に従いモデルのパラメータと学習データを設定する

注意点

  • 現時点はターン制の対話方式で全二重のリアルタイム版を開発中
  • 資料は計算資源とデータ資源の制約に触れる
  • 音声理解の雑音への強さと音声生成の音質の安定性に課題が残る
  • 技術報告・コード・モデルの重みは今後のオープンソース化が計画されている

長所と短所

✓ 良い点

  • 複数の話し方が文脈と人間の指示に従う
  • 一秒の音声に 25 段の自己回帰デコードが必要

! 注意したい点

  • 現時点ではターン制の対話方式
  • 雑音への強さと音声生成の音質の安定性に課題が残る

よくある質問

開発元は?

資料は復旦大学計算機科学学院を挙げる。

すべて公開済み?

資料は技術報告・コード・モデルの重みを今後オープンソースにする計画と説明。

最終評価日: 2026-11-15

その他 AIオーディオツール ツール

すべて見る →

評価方法