本文へスキップ

VideoPrism

動画理解タスク向けの汎用動画エンコーダ

公式サイトを見る

VideoPrism とは

VideoPrism は動画理解タスク向けの汎用動画エンコーダと紹介され、規模が大きく多様な事前学習データの上に築かれている。補足情報は動画理解の基盤モデルと呼ぶ。

できること

  • エンコーダで動画内容を分類する
  • 動画の位置推定タスクを扱う
  • 動画の一覧から目的の作品を検索する
  • 動画の字幕を作り質問に答える

事前学習

  • 第一段は対照学習で動画と文章を対応させる
  • 第二段はマスクされた動画パッチを予測する
  • 二つの段で異なる教師信号を使う
  • データには 3600 万組の高品質な動画と文章の対を含む

モデルについて

  • ノイズ入り文章の付いた動画クリップも事前学習に加わる
  • 固定のモデルを下流タスクへ直接適応できる
  • 30 の動画理解ベンチマークで結果が示される
  • 成果は Google Research のページに掲載される

長所と短所

✓ 良い点

  • 固定のモデルを下流タスクへ直接適応できる
  • 二段階で異なる教師信号を利用する

! 注意したい点

  • 事前学習は大規模で多様なデータ群に依存
  • 学習データにノイズ入り文章の動画クリップを含む

よくある質問

挙がるタスクは?

資料は分類・位置推定・検索・字幕生成・質問応答を挙げる。

基準はいくつ?

資料は 30 の動画理解ベンチマークで結果を示すと記載。

最終評価日: 2026-11-15

その他 AI動画生成 ツール

すべて見る →

評価方法