本文へスキップ

Aphrodite-engine

PygmalionAI の大規模推論エンジン

公式サイトを見る
カテゴリ AIモデル

Aphrodite-engine とは

Aphrodite-engine は PygmalionAI の公式バックエンドと紹介され、推論端点を提供し多数の利用者へ Pygmalion モデルを速く届けると説明されている。

できること

  • バックエンドとしてチャット応答を返す
  • 大規模言語モデルの推論を実行する
  • 高同時接続のカスタマーサポートを支える

導入の手順

  • pip かソースからのビルドで導入する
  • 環境変数と引数を設定する
  • OpenAI 互換の API サーバーを作る
  • SillyTavern などの UI と連携する

長所と短所

✓ 良い点

  • Mirostat など複数のサンプリング手法が挙がる
  • OpenAI 互換の API サーバーを構築できる

! 注意したい点

  • 導入は pip かソースからのビルドが必要
  • 環境変数と引数の設定が必要

よくある質問

基盤技術は?

資料は vLLM のページドアテンションと最適化 CUDA カーネルを挙げる。

どう提供する?

資料は OpenAI 互換 API サーバーと SillyTavern などの UI 連携を説明。

最終評価日: 2026-11-15

その他 LLM APIプラットフォーム ツール

すべて見る →

評価方法