本文へスキップ

ahxt/LiteLlama-460M-1T

規模を縮めた公開版 LLaMa 2 由来のモデル

公式サイトを見る
カテゴリ AIモデル

ahxt/LiteLlama-460M-1T とは

本モデルは 460M のパラメータを持ち 1T 個のトークンで学習した LLaMa 2 の公開された縮小版と説明されている。

できること

  • モデルからテキストを生成する
  • 質問応答の課題を試す
  • MMLU で生成の評価を行う

モデルについて

  • GPT2Tokenizer がテキストのトークン化を担う
  • HuggingFace Transformers ライブラリと組み合わせる
  • MMLU が評価の課題に挙がる

長所と短所

✓ 良い点

  • HuggingFace Transformers ライブラリと併用できる
  • 資料はモデル規模が小さいと説明

! 注意したい点

  • LLaMa 2 を縮小した版と紹介される
  • 学習は 1T 個のトークンと記される

よくある質問

規模は?

資料は 460M のパラメータと 1T 個の学習トークンを挙げる。

挙がるライブラリは?

資料は HuggingFace Transformers を挙げる。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法