Maxim

Maxim とは

Maxim は AI 製品の品質工学の基盤である。エージェントの挙動を模擬し、定めた基準に照らして出力を評価し、本番を劣化について監視する。

できること

• プロンプトとエージェントの評価一式の構築
• 公開前の利用者のやり取りの模擬
• 稼働中の品質とドリフトの監視
• モデルのバージョンの体系的な比較
• チームをまたいだ結果の共有

向いている人

• AI 製品のチーム
• LLM の機能を出荷する開発部門
• AI システムの品質の責任者

注意点

• カテゴリの不一致。コンテンツのモデレーションではなく AI の品質支援に当たる
• 評価には利用者側が先に指標と失敗の基準を定める必要がある。このツールは測るだけで品質を定義しない
• 模擬実行は想定した場面しか扱わない。実際の利用者は新しい失敗を見つける
• 無料で始められるとの記載がある。本番規模での上限を確認すること