Latent Space·· 3 小时前精选
DeepSeek 开源推理栈 DeepInfer，单集群日处理 155 万亿 token
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源生产推理框架 DeepInfer，支撑 V4.1 Flash，官方称单集群日处理 155 万亿 token、输入缓存命中率 96%、非高峰时段单卡每小时收入 38 美元。
推荐理由
DeepSeek 开源生产推理栈的同时披露了缓存命中率与单卡收入，读者可据此判断其吞吐数字与利润口径的边界。
来源：Latent Space · latent.space