跳到正文
热点事件持续更新

SageMaker AI 实时端点推出 KV cache 感知路由策略

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

AWS 在 Amazon SageMaker AI 实时端点推出 KV cache 感知路由(KV_AWARE)策略:基于模型容器上报的缓存状态建立托管缓存索引,将请求路由到已缓存最长匹配前缀且负载较低的实例,以提升前缀缓存命中率。索引只存哈希指针,不存提示词或 KV 张量。AWS 称该功能不额外收费。 启用需添加环境变量并设置 RoutingStrategy,客户端 API 不变;因需要多个可选目的地,端点须有至少两个实例或两个推理组件副本才生效。发布时支持 SageMaker AI 的 AWS vLLM 深度学习容器(vLLM 0.33.0 及以上,或 Amazon Linux 构建 server-sagemaker-cuda-v2.8.0 及以上),请求为 OpenAI 兼容的 Completions 或 Chat Completions 载荷,可通过 InvokeEndpoint、InvokeEndpointWithResponseStream 或 SageMaker AI OpenAI 兼容 Chat Completions API 发送。

AI 根据报道生成 · 36 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. AWS Machine Learning Blog
    Amazon SageMaker AI 实时端点新增 KV cache 感知路由

    Amazon SageMaker AI 推出面向实时端点的 KV cache 感知路由(KV_AWARE)。该策略基于模型容器上报的缓存状态建立托管缓存索引,将请求路由到已缓存最长匹配前缀且负载较低的实例,索引仅存哈希指针,不存提示词或 KV 张量。启用需添加环境变量并设置 RoutingStrategy,客户端 API 不变,需至少两个实例才生效。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。