本文へスキップ

YaFSDP

Transformer 向けに整えた分散データ並列の枠組み

公式サイトを見る

YaFSDP とは

YaFSDP は Transformer 系の網と良く働くよう設計された分散データ並列の枠組みと紹介され、通信と記憶の負荷を減らす。資料は高い記憶圧力の下で良く働くと伝える。

できること

  • 大規模言語モデルを効率よく事前学習する
  • 例に沿い監視付き微調整を行う
  • 独自のイベント通知を受け取る

活用場面

  • 7B から 70B の規模で事前学習する
  • 64 から 256 の装置で学習する
  • 2048 から 8192 のトークン系列で学習する

長所と短所

✓ 良い点

  • 通信と記憶の操作の負荷を減らす
  • 独自のイベント通知に対応

! 注意したい点

  • 設定は例に沿い Docker 環境を整える
  • 必要な修正を組み込んだ NVIDIA PyTorch のイメージに基づく

よくある質問

事前学習はどれだけ速い?

資料は従来の FSDP より 20% 速いと説明。

挙がる系列の長さは?

資料は 2048 から 8192 のトークン系列を挙げる。

最終評価日: 2026-11-15

その他 AIコーディングツール ツール

すべて見る →

評価方法