本文へスキップ

Tele-FLM-1T

1T の多言語モデル、学習の詳細も公開

公式サイトを見る
カテゴリ AIモデル

Tele-FLM-1T とは

Tele-FLM-1T は GPT 風のデコーダのみの Transformer によるオープンソースの 1T 多言語モデルと紹介され、学習の詳細と共に公開されている。

できること

  • 複数の言語にまたがり文章を生成する
  • 公開された中核の設計を読む
  • 課題に合わせて調整する

モデルについて

  • 成長の手法は三段に分かれる
  • RoPE、RMSNorm、SwiGLU が挙がる
  • 学習は三次元の並列化を用いる

導入の手順

  • Hugging Face でモデルを探す
  • カードで詳細と制限を読む
  • 重みと関連コードを取得する
  • 公開された作法に沿い調整する

長所と短所

✓ 良い点

  • Llama の構成との互換が資料に記される
  • 三次元の並列化がデータ・テンソル・段落の並列を組む

! 注意したい点

  • 資料の学習は大規模な GPU 群を要する
  • 取得前に模型カードの制限を読む

よくある質問

学習量は?

資料では約 2T トークンでの学習と説明。

重み以外に何を共有?

資料では中核の設計・工学的な作法・学習の詳細を共有する。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法