跳到正文
东方财富·7x24·· 5 小时前同新闻

国内日均词元调用量突破500万亿,Mooncake以PD分离盘活存量算力

我国日均词元调用量已突破500万亿 AI算力紧张有新解法

AI 导读

最新数据显示,国内日均词元调用量已突破500万亿,算力市场需求暴涨,智能算力短期补不上,只能向存量要效益。郑纬民院士团队2025年研发的大模型推理系统Mooncake获埃里克里德尔最佳论文奖,核心是PD分离技术:一组算力只负责读入用户问题,结果传给另一组专门生成回答。同样硬件规模下,系统可多承接75%的用户请求,长文本吞吐能力提升五倍以上。

同一新闻,精选展示《国内日均词元调用量突破500万亿,Mooncake用PD分离盘活存量算力》

来源:东方财富·7x24 · so.eastmoney.com