Benchmark Smart

"model": "benchmark_smart" を送ると、Pleum がリクエストの意図 （コード・推論・ビジョン・翻訳など）を判定し、その分野のベンチマーク 1 位モデルに置き換えます。LMArena のリーダーボードは毎週自動収集されるため、最新 SOTA を自分で追跡する 必要はありません。

curl https://apirouter.pleum.ai/v1/chat/completions \
  -H "Authorization: Bearer plm_..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "benchmark_smart",
    "messages": [
      {"role": "user", "content": "Write a Python function to dedupe a list."}
    ]
  }'

動作の仕組み#

リクエストボディから意図を分類し（正規表現、上流呼び出しなし）、そのカテゴリーで最もスコアの 高いモデルを選んで 1 回呼び出します。実際の課金は置換後の実モデル基準です —benchmark_smart 自体は仮想モデルで独自の価格はありません。

カテゴリーはコード・推論・ビジョン・翻訳・クリエイティブ・一般の 6 種です。ビジョン要求 （画像含む）は自動的にビジョン分野の 1 位モデルへ向かいます。

フォールバックチェーン#

最上位モデルが一時的に無効なら同カテゴリーの次点へ、さらに無ければ general カテゴリーへフォールバックします。クレジット保留前に判定する ため、ミスしても課金は発生しません。

セレクテッドスマート（プール限定）#

自分で選んだモデルプール内だけで AUTO を回すなら、ルーティングポリシーの auto タイプ（セレクテッドスマート）を使います。スコア でプール内の最適 1 位を選び、失敗時はプールの残りをフォールバックします。

関連モード#

Perfect は同じスコア表の上位 N モデルを並列実行して 合成します（価格不問 — より遅く高価だが精度最優先）。統計ベースの選択が必要なら analytics_smart を有効化してください（現在は benchmark と同一、将来は トラフィック学習へ進化）。

curl https://apirouter.pleum.ai/v1/chat/completions \
  -H "Authorization: Bearer plm_..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "benchmark_smart",
    "messages": [
      {"role": "user", "content": [
        {"type": "text", "text": "What is in this image?"},
        {"type": "image_url", "image_url": {"url": "https://example.com/cat.png"}}
      ]}
    ]
  }'