MemT 1.0开源：记忆原生模型首次实现近300B参数规模工程验证

事件概述

MemTensor团队发布了MemT 1.0系列开源模型，这是记忆原生（Memory-Native）架构在大规模参数模型上的首次工程验证。该系列包含两个型号：MemT-1.0-Nano（基于Qwen3.6-35B-A3B，36B总参/3B激活）和MemT-1.0-Flash（基于DeepSeek-V4-Flash，288B总参/17B激活）。研究旨在解决AI持续学习与自我改进（RSI）中“经验如何被保留并复用”的基础问题，通过让模型学习记忆的写入、更新和读取，构建真正的记忆原生能力。

核心信息

1. 架构创新：从外部检索到内部状态

与传统给AI外接经验库不同，MemT 1.0将记忆机制嵌入模型内部：

• 并行通路：在选定的Transformer模块中增加一条与原有注意力机制并行的记忆计算通路。
• 三层结构：
  • 主干权重：冻结的通用能力基础。
  • 超记忆：可训练的读写投影和门控参数，决定如何编码和读取。
  • 局部记忆：动态矩阵状态，保存交互中新加入的信息。
• 读写机制：经验被编码为键值对存入动态矩阵，通过Gated DeltaNet-2进行逐Token的稳定化更新。读取时，当前查询映射为记忆查询，结果经归一化后与注意力输出融合。
• MoS扩展：为解决容量瓶颈，提出Mixture-of-Storage (MoS)方案，利用稠密融合的多记忆专家路由来存储和使用经验。

2. 训练策略：蒸馏与对齐

• 数据构成：使用340亿Token语料，包括200亿Token继续预训练和140亿Token后训练。
• 教师-学生蒸馏：冻结的主干模型作为“教师”，看到完整历史；MemT 1.0作为“学生”，仅依赖自身记忆状态进行预测，通过Off-policy蒸馏对齐分布。
• 后训练目标：涵盖语言建模、记忆存储与利用（摘要、续写）及长程记忆强化任务。

3. 性能表现

• 代码修复（SWE-bench Verified）：
  • MemT-1.0-Nano关键断点平均成功率为69.73%，略高于无经验基线（66.07%）和文本经验组（69.13%）。
  • 三次运行全部成功的比例从无经验的54.00%提升至62.80%，显示出更高的可靠性。
• 多语言代码任务：原生记忆组平均成功率63.56%，优于无经验组（60.00%），与文本经验组（63.00%）相当。
• 记忆基准测试：在11项记忆基准中，Flash和Nano得分分别为50.6和47.0，位列参数化记忆方法前两名。
• 效率优势：在128K长历史场景下，Nano端到端推理速度约为完整上下文方案的1.86倍，持久状态占用仅为KV Cache的六十六分之一。

值得关注

• RSI的关键拼图：RSI（Recursive Self-Improvement）需要记忆、反馈和验证机制。MemT 1.0证明了经验可以通过原生记忆指导行动，补上了RSI中“有效进步得以延续”这一关键环节。
• 企业应用潜力：相比外部记忆，记忆原生更适合企业长期工作流中的经验复用。它能降低重复任务的返工率，且在相同历史长度下显著节省计算资源，有利于成本控制。
• 未来方向：目前原生记忆在长历史细节召回上仍略逊于文本系统，但通过训练沉淀局部记忆到超记忆参数，有望实现跨任务的智能提升。