本文へスキップ

Huginn-0125

35 億パラメータの潜在変数による再帰深度モデル

公式サイトを見る

Huginn-0125 とは

本モデルは Tom Goldstein 研究室による潜在変数の再帰深度モデルで、35 億パラメータ、8000 億トークンの学習を持つ。再帰深度によりテスト時の計算量を変える。

できること

  • 良質なコードと論理推論の結果を生成する
  • 研究の道具として再帰深度の効率を調べる

使い始め

  • transformers のライブラリでモデルをダウンロードする
  • num_steps で深さを決め bfloat16 の精度を使う

長所と短所

✓ 良い点

  • bfloat16 の混合精度での推論に対応する
  • 開発者向けの詳しい手引きとコード例がある

! 注意したい点

  • 利用者は transformers のライブラリでモデルを読み込む
  • 高度な機能は特定のパラメータで有効になる

よくある質問

モデルの大きさは?

カードでは 35 億パラメータと 8000 億トークンの学習が説明されています。

推論の方法は?

bfloat16 の精度、num_steps の設定、generate の呼び出しが説明されています。

最終評価日: 2026-11-15

その他 AIコーディングツール ツール

すべて見る →

評価方法