本文へスキップ

Loopy model

音声だけで肖像にリアルな動きを与える

公式サイトを見る

Loopy とは

本モデルはクリップ間とクリップ内の時間モジュール、音声から潜在表現へのモジュールを備えたエンドツーエンドの音声駆動による動画生成の拡散モデルと説明されている。 データ中の長期的な動きの情報から自然な動きの型を学び、手動で指定する空間的な動きのテンプレートを不要にすると記される。

できること

  • 音声だけで複数の視覚・音声のスタイルで生き生きとした動きの細部を生成する
  • 同じ参照画像に異なる音声を与え動きに合わせた合成結果を作る
  • ため息、感情による眉と目の動き、自然な頭の動きなどの非言語の動きに対応する
  • 速い、穏やか、写実的な歌唱を扱い横顔の画像も入力できる

活用場面

  • ビデオ会議で発話に同期したリアルなアバターを生成する
  • 仮想現実のゲームでキャラクターに反応する表情を作る
  • SNS で個別の動く肖像を生成する

導入の手順

  • 公式サイトまたは GitHub のページを開く
  • 資料を読みモデルの仕組みと利用条件を確かめる
  • 必要なコードとデータセットをダウンロードする
  • 案内に従い必要なライブラリと依存関係を揃えた環境を作る

長所と短所

✓ 良い点

  • ため息や眉・目の動きなど非言語の動きに対応
  • 横顔の画像も入力に使える

! 注意したい点

  • 動きは音声と参照画像から生成される形になる
  • 導入にはコードとデータセットの取得と環境作りが要る

よくある質問

動きを決めるものは?

資料は音声で駆動するエンドツーエンドの動画生成の拡散モデルと説明。

どんな入力が挙がる?

資料は異なる音声、参照画像、横顔の画像を挙げる。

最終評価日: 2026-11-15

その他 AI動画生成 ツール

すべて見る →

評価方法