本文へスキップ

MiniMax-Text-01

400 万トークンの文脈を扱う大規模言語モデル

公式サイトを見る

MiniMax-Text-01 とは

本モデルは MiniMaxAI が開発した大規模言語モデルと紹介され、ライトニング注意・ソフトマックス注意・専門家混合を一つの構造に組み合わせている。

できること

  • 長い文章を生成する
  • 400 万トークンの文脈を扱う
  • 言語理解と文章生成を研究する

モデルについて

  • 総パラメータは 4560 億と挙がる
  • 学習時の文脈は 100 万トークンに延びる
  • LASP+、可変長リング注意、ETP が挙がる
  • int8 の量子化設定が推奨される

長所と短所

✓ 良い点

  • LASP+ や ETP などの並列手法が挙がる
  • 手順は int8 の量子化を推奨する

! 注意したい点

  • 読み込みは GPU ごとの配置設定を要する
  • 基準の結果は学術的な試験について記される

よくある質問

規模はどれほど?

資料は総パラメータ 4560 億、トークンごと 459 億と説明。

どう読み込む?

手順は設定とトークナイザの読み込み、量子化、装置の配置、文章の前処理。

最終評価日: 2026-11-15

その他 AIコーディングツール ツール

すべて見る →

評価方法