跳到正文
AWS Machine Learning Blog· Apoorva Chandra·· 1 天前

Salesforce 如何用 Amazon SageMaker AI 跨区域推理路由实现全球规模模型服务

How Salesforce is advancing global-scale model serving with cross-Region inference routing in Amazon SageMaker AI

AI 导读

Salesforce 的 Agentforce Foundation 团队在 30+ 全球区域为客户提供模型服务,曾面临各区域容量碎片化导致的可用性问题。通过 SageMaker AI 的跨区域推理路由(inference router),应用只需一条调用路径,路由器基于近期请求结果评估各目的地健康度,可在约一分钟内向健康目的地转移流量,失败请求还会在另一目的地重试一次。

来源:AWS Machine Learning Blog · aws.amazon.com