本文へスキップ

VideoRAG

極めて長い動画を扱う検索拡張の枠組み

公式サイトを見る

VideoRAG とは

本枠組みは極めて長い動画の理解に向けた検索拡張型生成と紹介され、グラフによる文章知識の固定と階層的な符号化を組み合わせると説明されている。

できること

  • 長い動画から知識グラフを築く
  • 文章の意味と視覚情報で場面を探す
  • 複数動画の文脈の意味的な繋がりを保つ

導入の手順

  • Conda 環境を作り PyTorch や transformers を入れる
  • MiniCPM-V・Whisper・ImageBind のチェックポイントを取得する
  • 動画ファイルの一覧をモデルに渡す
  • 問いを投げ検索と生成で答えを得る

長所と短所

✓ 良い点

  • 160 本超・134 時間超の長い動画の基準資料が付く
  • Whisper の変更による多言語動画への対応が挙がる

! 注意したい点

  • 資料の手順は Conda 環境と学習済みチェックポイントを要する
  • 検索は知識グラフとマルチモーダル符号化を通る

よくある質問

挙がる機器は?

資料は単一の NVIDIA RTX 3090 GPU で数百時間を処理と説明。

どんな資料が付く?

資料は 160 本超・計 134 時間超の長い動画の基準を挙げる。

最終評価日: 2026-11-15

その他 AI動画生成 ツール

すべて見る →

評価方法