LiteLLM
PleumRouter 자체가 게이트웨이라 Aider 등은 LiteLLM 프록시 없이 붙습니다. 기존 LiteLLM proxy를 쓸 때만 아래 yaml을 씁니다.
설정 예시입니다. LiteLLM 버전에 따라 메뉴·설정 이름이 조금 다를 수 있습니다.
공통 환경변수는 코딩 에이전트 연결의
#setup을 보세요.설정#
api_base는 https://apirouter.pleum.ai/v1 까지입니다. 끝에 /chat/completions를 붙이지 마세요.
- 터미널에서
export PLEUM_API_KEY=plm_xxxxxxxxxxxxxxxx를 실행합니다.plm_xxxxxxxxxxxxxxxx자리에는 API 키 메뉴에서 만든 키를 넣으세요. - 아래 내용을 LiteLLM
config.yaml에 넣습니다.os.environ/PLEUM_API_KEY가 위에서 설정한 환경변수를 읽습니다.
litellm config.yaml
# litellm config.yaml
model_list:
- model_name: pleum-gpt-5.5
litellm_params:
model: openai/gpt-5.5
api_base: https://apirouter.pleum.ai/v1
api_key: os.environ/PLEUM_API_KEY확인#
짧은 프롬프트를 보내 응답이 오면 연결입니다. 비용은 응답 헤더 X-Request-Id로 GET /v1/generation?id=…에서 조회할 수 있습니다.
작동 방식#
LiteLLM은 PleumRouter를 OpenAI 호환 업스트림(api_base)으로 호출하고, 여러분의 앱에는 LiteLLM의 자체 엔드포인트를 노출합니다.
오류#
스니펫의 plm_xxxxxxxxxxxxxxxx는 더미입니다. 대시보드 API 키에서 발급한 실제 키로 바꾸세요. Base URL 끝에 /chat/completions를 붙이지 마세요.
| 증상 | 원인과 조치 |
|---|---|
| 401 Unauthorized | 키가 틀렸거나 비활성입니다. 대시보드 API 키에서 plm_ 키를 다시 복사하세요. 다른 서비스의 키를 넣지 않았는지도 확인하세요. |
| 402 Payment Required | 크레딧 잔액이 부족하거나 키의 일·주·월 예산이나 월 토큰 한도를 다 썼습니다. 충전하거나 API 키의 예산과 한도를 확인하세요. |
| 404 Not Found | base URL이 틀렸거나 모델 ID가 카탈로그에 없습니다. OpenAI 호환 도구는 /v1까지, Anthropic·Gemini 도구는 /v1이 없는 루트 주소입니다. 끝에 /chat/completions 같은 경로를 직접 붙이지 마세요. 오류 코드가 model_not_found면 모델 ID를 확인하세요. |
| 429 Too Many Requests | 키당 분당 요청 한도나 동시 요청 한도(concurrency_limit_exceeded)를 넘었거나, 모델 공급자 쪽 한도에 걸렸습니다(upstream_rate_limited). 에이전트의 병렬 실행 수를 줄이고 사용량 제한을 확인하세요. |
| model not found | 카탈로그에 없는 모델 ID입니다. GET /v1/models로 정확한 ID를 확인하고 대소문자까지 그대로 쓰세요. |