跳到正文
金十数据·快讯·· 6 小时前同新闻

中国日均 Token 用量突破 500 万亿,推理系统 Mooncake 以 prefill-decode 分离提升效率

China's daily token usage exceeds 500 trillion

AI 导读

中国日均 Token 用量已突破 500 万亿,带动算力需求激增,智算能力难以快速扩张,运营商转向挖掘存量资源效率。由郑纬民院士团队开发的大模型推理系统 Mooncake 曾获 2025 年 Eric Riedel 最佳论文奖,其 prefill-decode 分离架构将处理用户提示词与生成响应分开,在相同硬件上可多处理 75% 的用户请求,长上下文吞吐提升逾 5 倍。

同一新闻,精选展示《国内日均词元调用量突破500万亿,Mooncake用PD分离盘活存量算力》

来源:金十数据·快讯 · jin10.com