本文へスキップ

video-analyzer

視覚と音声のモデルで動画内容をローカルに記述

公式サイトを見る

video-analyzer とは

本ツールは Llama の 11B 視覚モデルと OpenAI の Whisper を組み合わせ、動画で起きることを記述する解析ツールと紹介されている。 キーフレームを取り出して視覚モデルに渡し、各フレームの細部と利用できる文字起こしを合わせて自然言語の記述を生成する。

できること

  • 動画からキーフレームを知的に抽出する
  • OpenAI の Whisper で音声を文字起こしする
  • Ollama と Llama3.2 11B 視覚モデルでフレームを解析する
  • 動画内容を自然言語で記述する

仕組み

  • クラウドや API 鍵なしで完全にローカル動作する
  • フレームの細部と利用できる文字起こしを合わせる
  • 画像認識・音声の文字起こし・自然言語処理を結合する
  • 速度と規模を高める外部 LLM サービス(OpenRouter)が挙がる

導入の手順

  • GitHub からリポジトリを複製する
  • プロジェクトのディレクトリへ移る
  • Python 3.11 の仮想環境を作る
  • 仮想環境を有効化する

長所と短所

✓ 良い点

  • フレームの細部と文字起こしを一つの記述にまとめる
  • クラウドや API 鍵なしでローカルに動く

! 注意したい点

  • 記述は抽出したキーフレームと利用できる文字起こしに左右される
  • 資料の手順は Python 3.11 の仮想環境を使う

よくある質問

API 鍵は必要?

機能一覧はクラウドや API 鍵を要さない完全なローカル動作を挙げ、速度と規模を高める外部 LLM サービスにも触れる。

どのモデルを使う?

資料は音声の文字起こしに OpenAI の Whisper、フレーム解析に Ollama と Llama3.2 11B 視覚モデルを挙げる。

最終評価日: 2026-11-15

その他 AI動画生成 ツール

すべて見る →

評価方法