跳到正文
华尔街见闻·直播·· 6 小时前精选

国内日均词元调用量突破500万亿,Mooncake用PD分离盘活存量算力

我国日均词元调用量已突破500万亿

AI 导读

最新数据显示,国内日均词元调用量已突破500万亿,算力市场需求暴涨,智能算力短期补不上,只能向存量要效益。2025年郑纬民院士团队研发的大模型推理系统Mooncake拿下埃里克・里德尔最佳论文奖,核心是用PD分离技术盘活存量算力:一组算力只读入用户问题,结果传给另一组专门生成回答。同样硬件规模下,系统多承接75%的用户请求,长文本吞吐能力提升五倍以上。(央视财经)

推荐理由

材料把国内日均词元调用突破500万亿与Mooncake的PD分离技术放在一起,读者可以借此理解算力短缺下靠软件调度盘活存量的路径。

来源:华尔街见闻·直播 · wallstreetcn.com