AWS 发布 SageMaker HyperPod 静默数据损坏检测方案
热点事件持续更新
AWS 发布 SageMaker HyperPod 静默数据损坏检测方案
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
AWS 在 Amazon SageMaker HyperPod 上发布一套检测静默数据损坏（SDC）的方案：在 PyTorch DistributedDataParallel 训练循环中加入三项检查——非有限梯度检查、环重放审计和权重指纹对比。检查触发后，将可疑 rank 定位到所在节点、隔离损坏，并由 SageMaker HyperPod 自动替换该节点。 方案适用于由 Amazon EKS 编排、至少含三个 GPU 节点的 HyperPod 集群，且要求 PyTorch DDP 训练中每个副本各自执行优化器步骤，数据管道能按步骤重建任意 rank 的微批次（如使用种子采样器）。完整代码已在配套 GitHub 仓库公开。
AI 根据报道生成 · 34 分钟前更新
最新进展11月12日 07:30
如何在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏（SDC）报道时间线
沿着报道，了解事件的不同侧面。
11月12日
- AWS Machine Learning Blog如何在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏（SDC）
AWS 在 Amazon SageMaker HyperPod 上提出在 PyTorch DDP 训练循环中加入三项检查来检测静默数据损坏（SDC）：非有限梯度检查、环重放审计和权重指纹对比，定位可疑节点后由 HyperPod 自动替换。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。