本文へスキップ

contrastors

対照モデルを効率よく学習・評価するツールキット

公式サイトを見る

contrastors とは

本ツールキットは研究者と技術者が対照モデルを効率よく学習・評価するための対照学習の道具と紹介されている。

できること

  • 複数の GPU にまたがってモデルを学習する
  • GradCache の支援で大きなバッチを回す
  • マスク言語モデリングの事前学習を行う
  • Huggingface 経由で一般的なモデルを読み込む

利用の例

  • 8 台の GPU で BERT を一から立ち上げる
  • nomic-bert-embed-v1-unsupervised を調整する
  • 同梱のスクリプトで独自のデータを整える

長所と短所

✓ 良い点

  • マスク言語モデリングの事前学習に対応
  • Matryoshka 表現学習に対応

! 注意したい点

  • 学習は Pytorch の枠組みの中で行う
  • 大きなバッチの学習は GradCache に依存

よくある質問

何を土台にしている?

資料は Flash Attention の上に成り複数 GPU に対応と説明。

どの事前学習に対応?

機能一覧はマスク言語モデルの事前学習と Matryoshka 表現学習を挙げる。

最終評価日: 2026-11-15

その他 AIコーディングツール ツール

すべて見る →

評価方法