本文へスキップ

LMSYS Chatbot Arena Leaderboard

クラウドソーシングの投票と Elo 方式で LLM を比べる

公式サイトを見る

LMSYS Chatbot Arena Leaderboard とは

本プラットフォームは大規模言語モデル(LLM)の性能を評価するクラウドソーシングのオープンな場と紹介され、30 万件超のユーザー投票をもとに Elo 方式で LLM の順位を付けると説明されている。

できること

  • 異なる大規模言語モデルの性能を比べる
  • サイト上で異なる LLM と対話する
  • 対話の品質に応じて投票する
  • ランキングで異なる LLM の動向を追う

活用場面

  • ランキングで LLM の順位を確かめモデルと対話し文章生成を試す
  • 質問応答や要約などの課題で異なる LLM の成績を比べる
  • ランキングを手がかりに応用に合う LLM を選ぶ

ランキングについて

  • 順位付けには Elo 方式を用いる
  • 順位は 30 万件超のユーザー投票をもとにする
  • ユーザー投票データを収集しランキングを更新する

長所と短所

✓ 良い点

  • 順位は 30 万件超のユーザー投票に基づく
  • 投票の収集に合わせランキングが更新される

! 注意したい点

  • 順位は対話の品質へのユーザー投票に左右される
  • 資料に記された順位付けの手法は Elo 方式

よくある質問

順位はどう決まる?

資料は 30 万件超のユーザー投票をもとにした Elo 方式と説明。

ランキングの用途は?

資料は LLM の動向の追跡と、研究者・開発者へのベンチマーク道具と説明。

最終評価日: 2026-11-15

その他 AIチャットボット ツール

すべて見る →

評価方法