金十数据·快讯·· 2 小时前
上海团队开源记忆原生大模型 MemT-1.0
Shanghai team releases open-source memory-native large model MemT-1.0
AI 导读
上海 Memory Tensor 团队发布并开源 MemT-1.0 系列,将持久、可更新的内部记忆集成进模型计算,历史信息与任务经验可在后续相关任务中直接调用,无需重新提供原文。开源包包含 288B 参数的 MemT-1.0-Flash 和 36B 的 MemT-1.0-Nano。团队在部分 Transformer 块中加入原生记忆模块,使标准注意力和记忆注意力并行运行,记忆成为前向传播的一部分。
来源:金十数据·快讯 · jin10.com