本文へスキップ

EgoLife

長期・マルチモーダル・多視点の日常生活を扱う AI プロジェクト

公式サイトを見る

EgoLife とは

EgoLife は長期・マルチモーダル・多視点の日常生活に向けた AI 助手のプロジェクトと紹介され、6 人のボランティアによる 1 週間の共同生活を約 50 時間の動画として記録した。 資料は長期コンテキスト理解の課題に向けて EgoRAG フレームワークを提案すると説明する。

できること

  • 時間や日をまたぐ長期の事象を結び付けて分析する
  • 同期した動画・視線・IMU のデータを扱う
  • 15 台の GoPro カメラと一人称視点の眼鏡で多視点記録を行う
  • 3D スキャン・文字起こし・詳細なキャプションを学習に用いる

利用例

  • 研究者がデータで AI モデルを訓練し長期動画の事象を追う
  • 開発者がマルチモーダルデータでスマートホームや健康モニタリング向けの動画解析ツールを作る
  • 教育者が社交のやり取りのデータから人の行動様式を調べる

導入の手順

  • プロジェクトの公式サイトで背景とデータの詳細を確かめる
  • 動画・3D スキャン・アノテーションのデータをダウンロードする
  • EgoLifeQA ベンチマークで長期コンテキスト課題の成績を評価する
  • EgoRAG フレームワークで複雑なマルチモーダルデータを扱うモデルを開発・改善する

長所と短所

✓ 良い点

  • 時間や日をまたぐ長期の事象分析に対応
  • 文字起こし、詳細なキャプション、3D スキャンが揃う

! 注意したい点

  • 成果は研究向けのデータとベンチマーク
  • 記録の範囲は 6 人のボランティアが共に過ごした 1 週間

よくある質問

どんなデータが含まれる?

資料は動画・視線・IMU のデータ、3D スキャン、文字起こし、詳細なキャプションを挙げる。

EgoRAG とは?

資料は長期コンテキスト理解の課題に向けたフレームワークと説明。

最終評価日: 2026-11-15

その他 AIオフィスアシスタント ツール

すべて見る →

評価方法