本文へスキップ

DCLM

言語モデル用データセットを築く枠組み

公式サイトを見る
カテゴリ AIモデル

DCLM とは

DCLM は大規模言語モデルの構築と学習のための総合的な枠組みと紹介され、標準化したコーパスと評価法を備えると説明されている。

できること

  • データセット構築のやり方を比べる
  • 50 超の手法でモデルを評価する

長所と短所

✓ 良い点

  • 事前学習の手順は open_lm に基づく
  • 順位表にコミュニティの提出が集まる

! 注意したい点

  • 手順に AWS 保管と Ray の整備が含まれる
  • 計算規模は 411M から 7B までと記載

よくある質問

コーパスの量は?

資料は 300T 超の未フィルタ CommonCrawl と説明。

対応する規模は?

資料は 411M から 7B のモデルを挙げる。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法