本文へスキップ

OLMo 2

Ai2 による 7B と 13B の全公開言語モデル

公式サイトを見る

OLMo 2 とは

本モデル群は Ai2 による全公開の言語モデルと紹介され、7B と 13B の規模を備え、学習データは最大 5T トークンに及ぶと説明されている。

できること

  • Hugging Face のページからモデルの重みを取得する
  • OLMo 2-Instruct で支援ツールを作る
  • OLMES の枠組みで長所と短所を確かめる

モデルについて

  • 段階的な学習では学習率の低下とデータ課程の調整を行う
  • 構成変更には RMSNorm、QK-Norm、回転位置埋め込みが含まれる
  • 二段階の事前学習は OLMo-Mix-1124 と Dolmino-Mix-1124 のデータ集合を使う

長所と短所

✓ 良い点

  • モデルの重みと学習データが全公開と説明される
  • RMSNorm や QK-Norm などの構成変更が学習の安定を支える

! 注意したい点

  • 資料は英語の学術基準で Llama 3.1 などの公開モデルと競うと説明
  • 大規模な学習には十分な計算資源が必要

よくある質問

規模は何種類?

資料には 7B と 13B の二種類が挙がる。

OLMES の役割は?

資料は性能目標と課題拡張の規則を定める枠組みと説明。

最終評価日: 2026-11-15

その他 AIコーディングツール ツール

すべて見る →

評価方法