Switchyard

💡 什么是 Switchyard？

Switchyard 是由 NVIDIA NeMo 团队开发、采用 Rust 语言打造的高性能 LLM 流量路由网关与中间件。

它的主要工作，就是作为终端 AI 应用（如 Claude Code、Codex CLI、各种 Agent）与各类大模型后端之间的智能“调度立交桥”。

有了它，你不必修改任何客户端代码，就能让原本只认 Anthropic API 的 Agent 极速运行在 vLLM 或开源模型上，并且还能实现自动降本增效。

Switchyard 网站截图

✨ 核心特色与技术亮点

1. 协议无缝转换（Protocol Translation）

Switchyard 内部内置了强大的协议翻译引擎。无论前端传入的是 OpenAI Chat、OpenAI Responses 还是 Anthropic Messages 格式，Switchyard 都能将其瞬间转换成上游模型所需要的标准格式。客户端继续用原生 API，后端则可随意切换。

2. 动态智能分流路由（Smart Routing）

它绝不仅仅是一个简单的代理，更具备多种智能分流策略：

• LLM Classifier（智能分类路由）： 根据用户提问的复杂度，用轻量模型先进行判断，简单问题走低成本模型，复杂问题自动升阶到强力大模型。

• Stage Router（阶段路由器）： 分析上下文信号（如工具调用结果、报错信息等），无需额外调用分类器就能实时决定当前步骤是否需要换强力模型。

• Random / A/B Testing： 支持按比例随机分流，非常方便用于模型灰度测试与性能 Benchmarking。

3. 极极致性能与硬核指标监控

得益于 Rust 语言的高性能特性，Switchyard 引入的路由延迟微乎其微。同时它集成了 Prometheus 指标，可实时观测请求数、Token 消耗、延迟表现以及路由损耗，让你的每一分算力开销都清晰可见。

4. 多种部署形式

无论是作为独立 Rust 代理服务部署，还是通过命令行与 Claude Code 等工具一键搭配启动，亦或是把路由算法嵌入你自己的 Rust 应用中，Switchyard 都提供了极高的灵活性。

📌 总结

对于致力于搭建复杂 Agent 架构、寻求大模型 API 降本增效，或者想把云端 Agent 部署回本地私有模型的开发者来说，Switchyard 是一把极具价值的“解耦神器”。