カテゴリ AI音声アシスタント
タグ AIオーディオ
SpeechGPT2 とは
本モデルは復旦大学計算機科学学院が開発したエンドツーエンドの音声対話言語モデルと紹介され、感情を感じ取り表し、文脈と人間の指示に応じて複数のスタイルで音声を返す。 補足情報は完全なエンドツーエンドの人間に近い音声対話モデルとし、超低ビットレートの音声コーデック (750bps) と MIMO-LM からの初期化に触れる。
できること
- 音声対話で感情を感じ取り表す
- ラップ・演劇・ロボット・ユーモア・ささやきなどのスタイルで応答する
- 音声コーデック (750bps) で意味と音響の情報を扱う
- 一秒の音声を 25 段の自己回帰デコードで生成する
導入の手順
- GitHub のページで技術報告とコードを入手する
- 技術報告を読み構成と機能を理解する
- 実行に必要なソフトウェアの依存パッケージを導入する
- 資料に従いモデルのパラメータと学習データを設定する
注意点
- 現時点はターン制の対話方式で全二重のリアルタイム版を開発中
- 資料は計算資源とデータ資源の制約に触れる
- 音声理解の雑音への強さと音声生成の音質の安定性に課題が残る
- 技術報告・コード・モデルの重みは今後のオープンソース化が計画されている
長所と短所
✓ 良い点
- 複数の話し方が文脈と人間の指示に従う
- 一秒の音声に 25 段の自己回帰デコードが必要
! 注意したい点
- 現時点ではターン制の対話方式
- 雑音への強さと音声生成の音質の安定性に課題が残る
よくある質問
開発元は?
資料は復旦大学計算機科学学院を挙げる。
すべて公開済み?
資料は技術報告・コード・モデルの重みを今後オープンソースにする計画と説明。
最終評価日: 2026-11-15
その他 AIオーディオツール ツール
すべて見る →-
Accent Guesser 声の録音からアクセントを判定する 無料ツール クリエイターツール オーディオ 音声からテキスト 教育ツール -
AccurateScribe.ai 音声と動画の書き起こし 無料ツール クリエイターツール 動画からテキスト オーディオ 音声からテキスト -
Adobe Podcast ブラウザで録音と音声クリーンアップ 無料ツール クリエイターツール オーディオ 音声からテキスト 音声編集 -
Agilotext フランス語中心の書き起こしと要約 オーディオ 音声からテキスト ポッドキャスト 会議文字起こし 議事録 -
AI Dubbing 登録不要の短い動画の吹き替え 無料ツール 動画翻訳 オーディオ ナレーション コンテンツローカライズ -
AI Mastering オンライン自動マスタリング 無料ツール フリーミアムツール オーディオ ポッドキャスト