本文へスキップ

LongRoPE

LLM の文脈窓を 2048k トークンへ広げる

公式サイトを見る
カテゴリ AIモデル

longrope とは

本手法は学習済みモデルの文脈窓を 2048k トークンまで広げるマイクロソフトの技術と説明されている。

できること

  • 短い文脈のモデルを長い文脈へ広げる
  • 長いテキストの機械読解を支える

注意点

  • 挙がる機能は窓の拡張・低費用の微調整・短い文脈の保持
  • 作業は学習済みの大規模言語モデルから始まる

長所と短所

✓ 良い点

  • 元の短い文脈の性能が保たれると資料は説明
  • 学習の費用と時間が抑えられると説明される

! 注意したい点

  • 手法は学習済みの言語モデルから出発する
  • 挙がる課題は読解・要約・長文生成に集中する

よくある質問

窓の大きさは?

資料では 2048k、すなわち 200 万トークンへの拡張と説明。

何が保たれる?

資料では元の短い文脈の窓の性能が保たれると説明。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法