모델·라우팅 고르기
카탈로그 ID·프로바이더·자기 키·Auto·가중 정책은 서로 다른 레버입니다.
오케스트레이터는 베타입니다.
직접 모델#
GET /v1/models의 id를 model에 넣습니다. 특정 업스트림이 필요하면 model@provider 또는 provider 라우팅 객체를 씁니다. Models API
BYOK#
자기 키로 업스트림을 호출하고 PleumRouter는 라우팅·관측만 합니다. BYOK
Auto#
정책·오케스트레이터#
가중 정책은 라우팅 정책입니다. 병렬 후보는 오케스트레이터이며 stream=true는 400입니다. 지연 우선은 :nitro입니다. 라우팅 정책 · 오케스트레이터 · :nitro