本文へスキップ

LongLLaMA

非常に長い文脈を扱う LLaMA モデル

公式サイトを見る
カテゴリ AIモデル

LongLLaMA とは

本モデルは OpenLLaMA をもとに FoT で微調整された長い文章向けの言語モデルと紹介されている。

できること

  • 長い文書を処理する
  • 256k トークン以上を扱う
  • 既存のコードで LLaMA の重みを替える

モデルについて

  • 3B の基盤モデルが用意される
  • 推論コードは Hugging Face に置かれる
  • 評価結果を OpenLLaMA と比べる

長所と短所

✓ 良い点

  • Hugging Face に長い文脈の推論コードがある
  • OpenLLaMA との評価結果が示される

! 注意したい点

  • 3B 基盤モデルは指示調整なし
  • 短い文脈での差し替えは 2048 トークンまで

よくある質問

文脈はどれほど?

資料は 256k トークン以上と説明。

使う手法は?

資料は Focused Transformer、略して FoT と説明。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法