本文へスキップ

LLMs-from-scratch

言語モデルを土台から組み立てる

公式サイトを見る

LLMs-from-scratch とは

本書は大規模言語モデルの働きを順を追って説く一冊と紹介され、分かりやすいテキスト、図、実例を用いる。

できること

  • モデルに渡すテキストを整える
  • 注意機構を自分の手で書く
  • GPT 系のモデルを土台から実装する

活用場面

  • 大学の深層学習講義の教材になる
  • 研究者の参考資料になる
  • AI 技術者の独学を支える

学習の段階

  • ラベルなしデータで事前学習する
  • 文章分類に向けて微調整する
  • 大規模基盤モデルと同じ手法を追う

長所と短所

✓ 良い点

  • 各段階が図と実例で説明される
  • 小型でも動くモデルを通しで作る

! 注意したい点

  • 作るモデルは教育向けの小型サイズ
  • 手法は大規模基盤モデルに準じる

よくある質問

何を作る本?

資料は教育用の小型ながら一通り動く言語モデルと説明。

誰向けと挙がる?

資料は大学講義、研究者、AI 技術者を挙げる。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法