本文へスキップ

MDLM

マスクと拡散でテキストを生成

公式サイトを見る

MDLM とは

本モデルはマスクと拡散の仕組みでテキストを生成する言語モデルと紹介され、訓練方法の改良と目的関数の単純化が図られている。

できること

  • 祖先サンプリングでテキストを生成する
  • 任意の長さのテキストを生成する
  • エンコーダのみの言語モデルを学習する

モデルについて

  • 学習には重み付き平均のマスク交差エントロピー損失を使う
  • 目的関数は原理的な変分下界に対応する
  • 資料は One Billion Words 基準でパープレキシティが低いと説明

導入の手順

  • 基本原理と機能を理解する
  • モデルと学習コードを入手する
  • マスク済みと未マスクのテキスト資料を用意する

長所と短所

✓ 良い点

  • エンコーダのみの構成で効率的なサンプラーを使える
  • 長距離の依存と制御可能な生成が利点に挙がる

! 注意したい点

  • 学習にはマスク済みと未マスクのテキストが必要
  • 目的関数は変分下界に対応する

よくある質問

学習方法は?

資料は重み付き平均のマスク交差エントロピー損失と単純化した目的関数を挙げる。

生成の方法は?

資料は祖先サンプリングによるテキスト生成を挙げる。

最終評価日: 2026-11-15

その他 AIライティングアシスタント ツール

すべて見る →

評価方法