Latency Routing (:nitro)

モデルに :nitro を付けると、直近 1 時間の実測レスポンスが最速のプロバイダーへルーティングされます。

複数プロバイダーが提供するモデルは、デフォルトでは最安のプロバイダーから試行されます。 "model": "gpt-4o:nitro" のように :nitro サフィックスを付けると、順序が速度優先に変わります — 実トラフィックで計測したプロバイダーごとのレスポンスタイムに基づくもので、推定値ではありません。OpenRouter の :nitro と互換の構文です。

:nitro suffix

curl https://apirouter.pleum.ai/v1/chat/completions \
  -H "Authorization: Bearer plm_..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-4o:nitro",
    "messages": [
      {"role": "user", "content": "Quick answer please."}
    ]
  }'

動作の仕組み#

スコアは、その（モデル、プロバイダー）ペアの直近 60 分の平均レスポンスタイムに、直近の失敗ペナルティを加えた値です — 直近 10 分以内に失敗したプロバイダーは失敗 1 件ごとにペナルティ（デフォルトで +2 秒相当）を受けて後回しになります。スコアが低い（速い）プロバイダーから試行されます。

サンプルが不足している（デフォルトで 5 件未満）プロバイダーは、観測された最速プロバイダーと同等に扱われます — 新規・低トラフィックのプロバイダーが永遠に埋もれないための楽観的デフォルトです。十分なサンプルを持つプロバイダーが 1 つもなければ並べ替えは行われず、価格順が維持されます。

サーキットブレーカーではありません — 遅い・失敗したプロバイダーも候補リストから除外されず、順位が下がるだけです。上位が失敗した場合は引き続きフォールバック先になります。

計測値は 60 秒間隔で更新されます。トラフィックの少ないモデルではサンプル不足のため、 :nitro を付けても価格順と同じ結果になることがあります — データが蓄積されると速度順が自動的に効き始めます。

その他の適用箇所#

同じスコアラーが 3 箇所で使われます：:nitro サフィックス、リクエストボディの "provider": {"sort": "latency"} ルーティング設定、そしてルーティングポリシーの latency タイプです。ルーティング設定で order（プロバイダー順の固定）を明示している場合はそちらが常に優先され、並べ替えは行われません。

provider sort preference

curl https://apirouter.pleum.ai/v1/chat/completions \
  -H "Authorization: Bearer plm_..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-4o",
    "provider": {"sort": "latency"},
    "messages": [
      {"role": "user", "content": "Quick answer please."}
    ]
  }'

逆方向のサフィックスもあります：:floor はアカウントのルーティング設定に関係なく、常に最安のプロバイダーから試行します。