本文へスキップ

TinyLlama

3 兆トークンで学習した 1.1B の Llama モデル

公式サイトを見る
カテゴリ AIモデル

TinyLlama とは

本企画は 3 兆トークンで 1.1B の Llama モデルを事前学習するものと紹介され、Llama 2 と同じ構造とトークナイザを用いると説明されている。

できること

  • 公開されたモデルで文章を生成する
  • Llama 系の企画に組み込んで使う
  • 記憶の限られた応用に載せる

学習について

  • 学習は 2023-09-01 に始まった
  • 16 台の A100-40G GPU で 90 日を要した
  • 機能一覧は Transformers と安全なテンソルを挙げる

長所と短所

✓ 良い点

  • 16 台の A100-40G GPU で 90 日に収めた
  • 小ささが制約のある応用に合う

! 注意したい点

  • 規模は 1.1B のパラメータに固定
  • 学習は 2023-09-01 に始まった

よくある質問

学習の目標は?

資料は 3 兆トークンで 1.1B の Llama モデルと説明。

小規模に合う理由は?

資料は 1.1B のパラメータと計算・記憶の制約を挙げる。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法