本文へスキップ

Samba

文脈の長さに上限がない混合言語モデル

公式サイトを見る
カテゴリ AIモデル

samba とは

単純ながら強力な混合モデルとされ、Samba-3.8B-instruct は長い文脈の要約で力を発揮すると記されている。

できること

  • 言語モデルの構成と学習を教える材料にする
  • 設定ファイルを書き換えて構成と学習値を選ぶ

長所と短所

✓ 良い点

  • MMLU、GSM8K、HumanEval の評価が挙げられる
  • 詳しい学習手引きと環境の整え方が付く

! 注意したい点

  • 環境は Dockerfile に沿って整える
  • SlimPajama を落として前処理する必要がある

よくある質問

構成は?

Mamba、MLP、スライディングウィンドウ注意、層状 MLP の重ね。

コードの置き場所は?

資料が指すのは GitHub 上の microsoft/Samba。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法