AWS Machine Learning Blog· Shantanu Tripathi·· 3 小时前
Amazon SageMaker Inference 支持 NVIDIA Multi-Instance GPU（MIG），最大化模型端点 GPU 利用率
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
AI 导读
Amazon SageMaker Inference 新增 GPU 分区功能，借助 NVIDIA MIG 将一块物理 GPU 划分为多个硬件隔离的分区，每块最多可分 7 个，让单个端点部署的模型数可以超过 GPU 数量。
来源：AWS Machine Learning Blog · aws.amazon.com