本文へスキップ

Aria-Base-64K

長い文脈の研究向けの基盤モデル

公式サイトを見る
カテゴリ AIモデル

Aria-Base-64K とは

本モデルはマルチモーダルネイティブの Mixture-of-Experts 基盤モデルと紹介され、長文の事前学習を経て研究と追加学習向けに作られたと説明されている。

できること

  • 長い動画の質問応答データで追加学習や微調整を行う
  • 短い指示調整の後で長文の質問応答に移す

準備と限界

  • transformers、accelerate、sentencepiece を入れて読み込む
  • AutoProcessor で文章と画像を整えてから生成する

長所と短所

✓ 良い点

  • 導入と推論のコード例が用意される
  • コード基盤が高度な推論と独自データの微調整を支える

! 注意したい点

  • チャット形式の割合が低くそのままの対話には向かない
  • 読み込みに transformers、accelerate、sentencepiece が要る

よくある質問

学習データ量は?

資料は 33B トークン、内 21B がマルチモーダル、12B が言語、69% が長文と説明。

対話に使える?

資料はチャット形式の学習が約 3% のみと説明。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法