Nemotron-CC とは
本データセットは Common Crawl を長期の事前学習用に変えた 6.3 兆トークンの集合である。
できること
- 生と合成のトークンで学習する
- 必要な品質等級と分割を選ぶ
- jsonl または parquet で取得する
活用場面
- 8B のモデルをこのデータで訓練する
- 15T トークンの訓練に用いる
- 研究者が品質等級の違いを調べる
長所と短所
✓ 良い点
- 複数の品質等級と分割を用意
- 分類器の集合と合成の書き換えを用いる
! 注意したい点
- 英語の Common Crawl が土台
- ヒューリスティックフィルタへの依存は減る
よくある質問
規模は?
資料は 6.3 兆トークンと説明。
形式は?
資料は jsonl と parquet を挙げる。
最終評価日: 2026-11-15
その他 AIコーディングツール ツール
すべて見る →-
100 Vibe Coding 作りながら学ぶ vibe coding 無料ツール エンタープライズツール 開発者ツール API連携 コーディング -
10Web プロンプトから WordPress サイト(ホスティング付き) 無料ツール 開発者ツール ノーコード開発 コーディング サイト構築ツール -
16x Prompt AI コーディングのコンテキスト管理 無料ツール ワークフロー自動化 開発者ツール API連携 コーディング -
a0.dev チャットで作るモバイルアプリをストアへ 無料ツール 開発者ツール ノーコード開発 コーディング アプリ構築ツール -
Adalo ビジュアルキャンバスで作るノーコードアプリ 無料ツール 開発者ツール ノーコード開発 コーディング アプリ構築ツール -
AgentQL 自然言語でウェブからデータを抽出 フリーミアムツール 開発者ツール ブラウザ拡張機能 データ抽出 コーディング