Portkey AI

Portkey AI とは

Portkey AI は生成 AI アプリの基盤。多数のモデルを束ねるゲートウェイに、監視・プロンプト管理・負荷分散・条件付き経路制御・意味キャッシュを備える。

リアルタイム監視とログ追跡を備え、オンプレミス配置を含むオープンソース構成に対応する。

できること

• 一つのゲートウェイから多数のモデルを呼ぶ
• 経路制御・キャッシュ・再試行を追加
• 費用・遅延・エラーを追跡
• データを管理するためにセルフホストする

向いている人

• 生成 AI 製品を作るチーム
• 複数のモデル提供元を統一する組織
• セキュリティとコンプライアンスの要件がある企業

注意点

• プロンプトと応答はゲートウェイを通る。何が保存されるかはログ設定で決まる
• サイト上のモデル数はベンダーの数値。必要な事業者に対応しているか確認する
• 意味キャッシュは閾値が緩いと古い答えや誤った答えを返しうる
• セルフホストでは運用の作業が増える