用 Ray LLM Deep Learning Containers 在 Amazon EKS 上运行多节点推理负载

AWS 发布面向多节点部署的 Ray LLM Deep Learning Containers，可在 Amazon EKS 上把单个大语言模型跨两个 GPU 节点部署，将 prefill 与 decode 分离并统一在一个 OpenAI 兼容端点之后。该容器内置 vLLM、Ray Serve LLM、NIXL 和 EFA 栈，整个服务应用只需一段 YAML，无需编写应用代码。