本文へスキップ

DCLM-7B

整理されたデータに基づく言語モデル

公式サイトを見る
カテゴリ AIモデル

DCLM-7B とは

DCLM のチームによる Decoder-only Transformer の言語モデル。主に英語で学習し、体系だったデータ整理を採り、PyTorch と OpenLM、AdamW が使われる。

できること

  • Transformer の構成で復号の課題を扱う
  • 英語の処理にあたる
  • StarCoder と ProofPile2 のデータを生かす

活用例

  • ゼロショットとフューショットを評価する
  • 質問応答のアプリケーションに組み込む
  • 学生へ仕組みを説明する

長所と短所

✓ 良い点

  • 詳しい学習の内訳と評価の結果が示される
  • MMLU、HellaSwag、Jeopardy が課題に挙がる

! 注意したい点

  • 主な対象言語は英語
  • 資料の学習環境は PyTorch と OpenLM による

よくある質問

開発したのは誰?

資料では DataComp for Language Models のチームと説明。

最適化の手法は?

資料では AdamW と 2e-3 の学習率が挙がる。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法