跳到正文
AWS Machine Learning Blog· Aswath Ram A Srinivasan·· 1 小时前

用 NVIDIA NeMo Switchyard 在 Amazon Bedrock 上为 coding agent 请求智能路由模型

Route coding agent requests to the right model on Amazon Bedrock with NVIDIA NeMo Switchyard

AI 导读

AWS 指导开发者用 AWS CDK 在 Amazon Bedrock 上部署 LiteLLM(v1.102.0)与 NVIDIA NeMo Switchyard 路由插件(switchyard-server 0.3.0),让 Claude Code 等 coding agent 的请求在模型间路由,并以“每个已解决任务的成本”作为评估标准。

来源:AWS Machine Learning Blog · aws.amazon.com