Portkey AI Gateway
生产级 LLM gateway，支持路由、guardrails、MCP 和可观测性。
开源
适合生产 Agent 需要统一 API gateway 跨 200+ LLM provider，内建负载均衡、fallback、缓存、guardrails 和成本追踪。
选型建议
当需要跨 provider 的生产级路由和 guardrails 时选 Portkey AI Gateway。它增加了 prompt 层面逻辑无法提供的可靠性层。
快速对比
Portkey 面向带 guardrails 和 MCP 能力的生产级路由。Helicone 与 LiteLLM 是常见替代：前者偏代理式可观测，后者偏 Python 统一 provider API。
| Portkey AI Gateway | Helicone | LiteLLM | |
|---|---|---|---|
| 最适合 | 多 provider 路由 + guardrails + fallback | 低侵入代理式 LLM 可观测与缓存 | Python 应用统一 LLM client API |
| 可靠性能力 | 负载均衡、fallback 链、guardrails | 代理网关缓存与 failover | Router fallback 与预算限制 |
| 可观测性 | 统一网关日志与成本追踪 | 请求级看板与会话 | 日志钩子；常与 Langfuse 搭配 |
| 主要取舍 | 平台面大于薄代理 | guardrail 策略较少内置 | 开发体验好；托管策略层较弱 |
适用场景
- LLM 路由
- provider fallback
- 成本控制
- 生产 gateway
- MCP 集成
不适用场景
- 只用单个 provider 的团队
- 不需要多 provider 路由的项目
核心概念
gatewayroutingguardrailsMCPfallbacks
最小实现形态
通过 Portkey 配置多个 LLM provider，定义 fallback 链和 guardrail 检查，所有 Agent 流量通过统一 API endpoint 路由，附带统一观测。