本文へスキップ

lmsys

LMSYS Org による公開モデルと評価の場

公式サイトを見る

LMSYS とは

LMSYS Org は大規模モデルとその基盤技術の民主化を目指す組織と紹介されている。取り組みはチャットボット、評価の場、データセット、実行環境、公開プラットフォームに広がる。

できること

  • 大規模モデルとそのシステム基盤を開発する
  • FastChat で LLM ベースのチャットボットを学習・提供・評価する
  • SGLang のインターフェースと実行環境で複雑な LLM プログラムを動かす
  • クラウドソーシングの対戦でモデルを大規模に評価する

プロジェクトと資源

  • Vicuna は 7B、13B、33B の規模で、資料は ChatGPT 品質の 90% を挙げる
  • Chatbot Arena はクラウドソーシングと Elo 評価を組み合わせる
  • LMSYS-Chat-1M は大規模な実世界の LLM 対話データセット
  • MT-Bench は難易度の高い多ターン自由回答の設問群

資料に挙がる例

  • Vicuna で質の高いチャットボットアプリを作る
  • Chatbot Arena で LLM の評価競技を行う
  • FastChat でチャットボットの学習と提供を行う

長所と短所

✓ 良い点

  • モデル、データセット、評価の道具が一つの組織に揃う
  • FastChat は学習・提供・評価を扱う

! 注意したい点

  • Arena の評価はクラウドソーシングと Elo 評価で決まる
  • MT-Bench は多ターン自由回答の設問で構成

よくある質問

Chatbot Arena とは?

資料はクラウドソーシングと Elo 評価による大規模な LLM 評価と説明。

どんな成果がある?

Vicuna、Chatbot Arena、SGLang、LMSYS-Chat-1M、FastChat、MT-Bench が挙がる。

最終評価日: 2026-11-15

その他 AIコーディングツール ツール

すべて見る →

評価方法