VideoPrism とは
VideoPrism は動画理解タスク向けの汎用動画エンコーダと紹介され、規模が大きく多様な事前学習データの上に築かれている。補足情報は動画理解の基盤モデルと呼ぶ。
できること
- エンコーダで動画内容を分類する
- 動画の位置推定タスクを扱う
- 動画の一覧から目的の作品を検索する
- 動画の字幕を作り質問に答える
事前学習
- 第一段は対照学習で動画と文章を対応させる
- 第二段はマスクされた動画パッチを予測する
- 二つの段で異なる教師信号を使う
- データには 3600 万組の高品質な動画と文章の対を含む
モデルについて
- ノイズ入り文章の付いた動画クリップも事前学習に加わる
- 固定のモデルを下流タスクへ直接適応できる
- 30 の動画理解ベンチマークで結果が示される
- 成果は Google Research のページに掲載される
長所と短所
✓ 良い点
- 固定のモデルを下流タスクへ直接適応できる
- 二段階で異なる教師信号を利用する
! 注意したい点
- 事前学習は大規模で多様なデータ群に依存
- 学習データにノイズ入り文章の動画クリップを含む
よくある質問
挙がるタスクは?
資料は分類・位置推定・検索・字幕生成・質問応答を挙げる。
基準はいくつ?
資料は 30 の動画理解ベンチマークで結果を示すと記載。
最終評価日: 2026-11-15
その他 AI動画生成 ツール
すべて見る →-
1703 顔出しなしの YouTube 動画を短時間で 無料ツール クリエイターツール 動画生成ツール 発話アバター -
A2E ボイスクローンに対応したデジタルヒューマンの動画 動画生成ツール 画像から動画 リップシンク動画 デジタルヒューマン 音声クローン -
A9 ブランドが既に持つ素材から短い販促クリップを作る 無料ツール 動画生成ツール ショート動画 -
Adobe Firefly Video テキストや画像から短い動画を生成し、言語をまたいで翻訳できる 無料ツール 動画生成ツール テキストから動画 画像から動画 デザインツール -
Adpex 動画・画像・コードを1つの Web アプリで 無料ツール マルチモデルプラットフォーム 画像編集 動画生成ツール コーディング -
AdsTurbo 有料ソーシャル向けの動画広告のバリエーション 動画生成ツール ショート動画 動画広告 動画翻訳 広告クリエイティブ