跳到正文
金十数据·快讯·· 2 小时前

上海团队开源记忆原生大模型 MemT-1.0

Shanghai team releases open-source memory-native large model MemT-1.0

AI 导读

上海 Memory Tensor 团队发布并开源 MemT-1.0 系列,将持久、可更新的内部记忆集成进模型计算,历史信息与任务经验可在后续相关任务中直接调用,无需重新提供原文。开源包包含 288B 参数的 MemT-1.0-Flash 和 36B 的 MemT-1.0-Nano。团队在部分 Transformer 块中加入原生记忆模块,使标准注意力和记忆注意力并行运行,记忆成为前向传播的一部分。

来源:金十数据·快讯 · jin10.com