Tarsier とは
本モデルは ByteDance の研究チームによる一連の大規模動画言語モデルと説明されている。高品質な動画記述を生成し、動画理解のタスクにも取り組む。
できること
- 動画の出来事を詳しく書き起こす
- 構成と学習手法を調べる
- 動画サービスに自動記述を加える
主な機能
- 複数タスクの事前学習が記述と質疑を扱う
- 複数粒度の指示調整を適用
- DREAM-1K の記述ベンチマークを添付
使い始めるには
- Python 3.9 の仮想環境を作る
- リポジトリを複製し設定スクリプトを動かす
- Tarsier-7b または Tarsier-34b の重みを取得する
長所と短所
✓ 良い点
- DREAM-1K の動画記述ベンチマーク用データセットを提供
- 動画・画像・GIF の入力に対応
! 注意したい点
- Python 3.9 の仮想環境と設定スクリプトが必要
- Tarsier-7b または Tarsier-34b の重みの取得が必要
よくある質問
学習の段階は?
カードには複数タスクの事前学習と複数粒度の指示調整が挙げられる。
受け付ける入力は?
資料には動画・画像・GIF のファイルが挙げられる。
最終評価日: 2026-11-15
その他 AI動画生成 ツール
すべて見る →-
1703 顔出しなしの YouTube 動画を短時間で 無料ツール クリエイターツール 動画生成ツール 発話アバター -
A2E ボイスクローンに対応したデジタルヒューマンの動画 動画生成ツール 画像から動画 リップシンク動画 デジタルヒューマン 音声クローン -
A9 ブランドが既に持つ素材から短い販促クリップを作る 無料ツール 動画生成ツール ショート動画 -
Adobe Firefly Video テキストや画像から短い動画を生成し、言語をまたいで翻訳できる 無料ツール 動画生成ツール テキストから動画 画像から動画 デザインツール -
Adpex 動画・画像・コードを1つの Web アプリで 無料ツール マルチモデルプラットフォーム 画像編集 動画生成ツール コーディング -
AdsTurbo 有料ソーシャル向けの動画広告のバリエーション 動画生成ツール ショート動画 動画広告 動画翻訳 広告クリエイティブ