本文へスキップ

Nemotron-CC

6.3 兆トークンの事前学習データ

公式サイトを見る

Nemotron-CC とは

本データセットは Common Crawl を長期の事前学習用に変えた 6.3 兆トークンの集合である。

できること

  • 生と合成のトークンで学習する
  • 必要な品質等級と分割を選ぶ
  • jsonl または parquet で取得する

活用場面

  • 8B のモデルをこのデータで訓練する
  • 15T トークンの訓練に用いる
  • 研究者が品質等級の違いを調べる

長所と短所

✓ 良い点

  • 複数の品質等級と分割を用意
  • 分類器の集合と合成の書き換えを用いる

! 注意したい点

  • 英語の Common Crawl が土台
  • ヒューリスティックフィルタへの依存は減る

よくある質問

規模は?

資料は 6.3 兆トークンと説明。

形式は?

資料は jsonl と parquet を挙げる。

最終評価日: 2026-11-15

その他 AIコーディングツール ツール

すべて見る →

評価方法