AWS Machine Learning Blog· Dmitry Soldatkin·· 1 小时前
Amazon SageMaker AI 实时端点新增 KV cache 感知路由
Amazon SageMaker AI real-time endpoints now support KV cache aware routing
AI 导读
Amazon SageMaker AI 推出面向实时端点的 KV cache 感知路由(KV_AWARE)。该策略基于模型容器上报的缓存状态建立托管缓存索引,将请求路由到已缓存最长匹配前缀且负载较低的实例,索引仅存哈希指针,不存提示词或 KV 张量。启用需添加环境变量并设置 RoutingStrategy,客户端 API 不变,需至少两个实例才生效。
来源:AWS Machine Learning Blog · aws.amazon.com