本文へスキップ

StyleTTS 2

スタイル拡散と敵対的学習による読み上げモデル

公式サイトを見る
カテゴリ AI音声合成

StyleTTS 2 とは

本モデルは大規模音声言語モデルを用いたスタイル拡散と敵対的学習によるテキスト読み上げのモデルと説明され、資料は人間に匹敵する TTS 合成を実現したとしている。拡散モデルでスタイルを潜在確率変数として扱い、参照音声なしで文章に最も合うスタイルを生成する。

できること

  • 参照音声なしで文章に合うスタイルを生成する
  • 拡散モデルでスタイルを潜在確率変数として扱う
  • 大規模な事前学習済み音声言語モデルを識別器に使う
  • 可微分な持続時間モデリングでエンドツーエンドに学習する

モデルについて

  • 資料は人間に匹敵する TTS 合成を実現したと説明
  • 原文は識別器に用いる事前学習済みモデルとして WavLM を挙げる
  • 原文は単一話者の LJSpeech で人間録音を上回り複数話者の VCTK で並んだとする
  • 原文は LibriTTS での学習が公開済みのゼロショット拡張を上回ったとする

長所と短所

✓ 良い点

  • 参照音声がなくても合うスタイルを生成できる
  • 識別器と持続時間モデリングを学習に組み合わせる

! 注意したい点

  • スタイルの出力は拡散モデルが担い参照音声を使わない
  • 学習は事前学習済みモデルと可微分な持続時間モデリングに依存

よくある質問

潜在確率変数として扱われるものは?

資料ではスタイルが拡散モデルによりそう扱われ文章に合うスタイルが生成されると説明。

識別器に挙がる事前学習済みモデルは?

原文は WavLM などの大規模音声言語モデルを挙げる。

最終評価日: 2026-11-15

その他 AIオーディオツール ツール

すべて見る →

評価方法