本文へスキップ

Infini-attention

Transformer モデルを非常に長い入力へ拡張

公式サイトを見る
カテゴリ AIモデル

Infini-attention とは

Infini-attention は Google が開発した手法と紹介され、圧縮メモリの仕組みで Transformer 系の大規模言語モデルを無限長の入力へ拡張する。

できること

  • 局所と長期の注意を組み合わせる
  • 入力をストリーミングで処理する
  • 高速なストリーミング推論を行う

実験に挙がる課題

  • 長い文脈の言語モデル化が挙がる
  • 鍵となる文脈ブロックの検索が挙がる
  • 本の要約が挙がる

長所と短所

✓ 良い点

  • ストリーミング処理に対応する
  • 資料はモデルの拡張性に触れる

! 注意したい点

  • 長い入力は圧縮メモリに依存する
  • ストリーミング推論が設計に含まれる

よくある質問

開発元は?

資料は Google が開発した技術と説明。

どの課題で結果が出た?

資料は長い文脈の言語モデル化、鍵となる文脈ブロックの検索、本の要約を挙げる。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法