跳到正文
AWS Machine Learning Blog· Joseph Cottingham·· 2 小时前

如何为 Amazon SageMaker AI 上的 TTS 服务确定自动扩缩目标

Stop guessing auto scaling targets for TTS on Amazon SageMaker AI

AI 导读

AWS 在 Amazon SageMaker AI 实时端点上以自定义容器部署了 82M 参数的 TTS 模型 Kokoro-82M,用两次实测替代猜测的自动扩缩目标:Q_max(单实例不突破 SLO 的最大并发数)和 T_total(一次扩容的端到端耗时),再据此算出扩容阈值、缩容阈值和冷却时间。

来源:AWS Machine Learning Blog · aws.amazon.com