本文へスキップ

VisRAG

文書を画像のまま埋め込む視覚言語 RAG の流れ

公式サイトを見る

VisRAG とは

本パイプラインは視覚言語モデルに基づく検索拡張生成の流れと紹介され、テキスト型の手法と異なり文書を画像のまま VLM で埋め込む。その埋め込みを検索して生成を強化し、資料は元の文書情報を最大限保ち解析による損失を除くと述べている。

できること

  • 文書を画像のまま視覚言語モデルで埋め込む
  • 文書の埋め込みを検索して生成に結びつける
  • 生成される内容の品質と関連性を高める
  • 用意された学習・評価スクリプトを実行する

活用場面

  • 学術研究で大量の文献から論文要旨を検索し生成する
  • 推薦システムで好みに沿う個別のコンテンツを作る
  • 質問応答システムで関連文書を検索し正確な回答を作る

導入の手順

  • Python 3.10.8 と CUDA Toolkit を用意する
  • リポジトリをクローンし作業ディレクトリに移る
  • 依存ライブラリと必要な追加ライブラリを導入する
  • 公開の学術データセットか合成データセットを準備する

長所と短所

✓ 良い点

  • 画像として埋め込むため元の文書情報が保たれる
  • 学習中は勾配チェックポイントでメモリ使用を抑える

! 注意したい点

  • 手順には Python 3.10.8 と CUDA Toolkit の導入が含まれる
  • 学習データは公開または合成のデータセットから用意する

よくある質問

テキスト型の RAG とどう違う?

資料は文書をテキストに解析せず画像のまま VLM で埋め込むと説明。

生成に使えるモデルは?

機能一覧は MiniCPM-V 2.0 と GPT-4o などの視覚言語モデルを挙げる。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法