本文へスキップ

Nemotron-4-340B-Base

合成データ生成を狙う NVIDIA の 340B モデル

公式サイトを見る
カテゴリ AIモデル

Nemotron-4-340B-Base とは

本モデルは NVIDIA による 3400 億パラメータの大規模言語モデルと紹介され、合成データを生成して研究者や開発者が自前の言語モデルを作る助けになると説明されている。

できること

  • 50 超の自然言語と 40 超のプログラミング言語での文章生成
  • Grouped-Query Attention と Rotary Position Embeddings
  • NVIDIA NeMo による効率的な微調整と位置合わせの道具

活用場面

  • 研究者が特定分野の言語モデル向けに学習データを作る
  • 開発者が複数言語のチャットボットを作る
  • 教育機関がコード例でプログラミングの概念を解説する

長所と短所

✓ 良い点

  • BF16 推論は複数の機器構成で動く
  • NVIDIA のオープンモデルライセンスは商用と派生モデルの配布を認める

! 注意したい点

  • NVIDIA NeMo と BF16 対応の GPU が必要
  • 推論は Python と Bash のスクリプトで動かす

よくある質問

文脈の長さは?

資料では 4096 トークンの文脈長とされる。

適用されるライセンスは?

資料では商用と派生モデルの配布を認める NVIDIA のオープンモデルライセンスとされる。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法