本文へスキップ

Tarsier

詳細な動画記述を生成する大規模動画言語モデル

公式サイトを見る

Tarsier とは

本モデルは ByteDance の研究チームによる一連の大規模動画言語モデルと説明されている。高品質な動画記述を生成し、動画理解のタスクにも取り組む。

できること

  • 動画の出来事を詳しく書き起こす
  • 構成と学習手法を調べる
  • 動画サービスに自動記述を加える

主な機能

  • 複数タスクの事前学習が記述と質疑を扱う
  • 複数粒度の指示調整を適用
  • DREAM-1K の記述ベンチマークを添付

使い始めるには

  • Python 3.9 の仮想環境を作る
  • リポジトリを複製し設定スクリプトを動かす
  • Tarsier-7b または Tarsier-34b の重みを取得する

長所と短所

✓ 良い点

  • DREAM-1K の動画記述ベンチマーク用データセットを提供
  • 動画・画像・GIF の入力に対応

! 注意したい点

  • Python 3.9 の仮想環境と設定スクリプトが必要
  • Tarsier-7b または Tarsier-34b の重みの取得が必要

よくある質問

学習の段階は?

カードには複数タスクの事前学習と複数粒度の指示調整が挙げられる。

受け付ける入力は?

資料には動画・画像・GIF のファイルが挙げられる。

最終評価日: 2026-11-15

その他 AI動画生成 ツール

すべて見る →

評価方法