DeepSeek 宣布全面开源内部推理框架 DeepInfer

DeepSeek 于 10 月 20 日下午宣布将内部推理框架 DeepInfer 全面开源，用于统筹调度算力集群、优化大规模推理的吞吐与延迟。DeepSeek 称基于 DeepInfer 已实现 DeepSeek V4.1 Flash 的高吞吐、低延迟大规模推理服务，未来新模型的推理代码及后续优化也将在此持续更新。