华尔街见闻·直播·· 2 小时前
上海记忆张量团队发布并开源记忆原生大模型 MemT-1.0
上海团队发布并开源记忆原生大模型MemT-1.0
AI 导读
上海记忆张量团队于10月20日发布并开源记忆原生模型 MemT-1.0 系列,包含参数规模 288B 的 MemT-1.0-Flash 与 36B 的 MemT-1.0-Nano 两款。该系列在选定的 Transformer 模块中引入原生记忆模块,使注意力与记忆注意力并行运行,记忆成为模型前向传播的一部分,历史信息与任务经验可在后续任务中直接调用,无需再次提供原始历史文本。
来源:华尔街见闻·直播 · wallstreetcn.com