跳到正文
AWS Machine Learning Blog· Hazim Qudah·· 1 小时前

Amazon SageMaker AI 推理端点现可自动检测延迟漂移、闲置 GPU 与配置优化缺口

Amazon SageMaker AI now detects latency drift, idle GPUs, and missed optimizations on your inference endpoints

AI 导读

Amazon SageMaker AI 推出面向生成式 AI 推理端点的优化推荐功能,默认监控使用 vLLM 容器和 GPU 实例的端点,自动发现延迟漂移、GPU 闲置和配置缺口三类问题,并通过 AWS Health 发送通知。

来源:AWS Machine Learning Blog · aws.amazon.com