AWS Machine Learning Blog· Siddharth Senger·· 1 小时前
如何在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏（SDC）
Detecting and recovering from silent data corruption on Amazon SageMaker HyperPod
AI 导读
AWS 在 Amazon SageMaker HyperPod 上提出在 PyTorch DDP 训练循环中加入三项检查来检测静默数据损坏（SDC）：非有限梯度检查、环重放审计和权重指纹对比，定位可疑节点后由 HyperPod 自动替换。
来源：AWS Machine Learning Blog · aws.amazon.com