Ilya旗下SSI首个模型曝光：基于TTT的推理引擎最快本月面世

事件概述

X用户「三只草莓」爆料称，Ilya Sutskever创办的SSI（Safe Superintelligence）正在探索一种基于TTT（Test-Time Training，测试时训练） 的小型推理引擎。该模型会使用专门整理的数据学习「如何学习」，并在解决问题过程中更新部分权重，即使模型规模不大，也有望与经过更大规模训练的模型竞争。

爆料还称，SSI当前版本已经准备就绪，团队正将下一代版本规模直接扩展10倍；当前版本最快8月露面，早期将向少数用户开放。不过，随后又有消息称8月可能不会发布。

核心信息

• 技术路线：TTT让模型在推理时利用当前数据继续训练，根据预测与目标的误差调整内部状态，甚至直接更新参数，将训练与推理不再彻底分离。
• 相关论文：爆料提及《End-to-End Test-Time Training for Long Context》，该论文将长上下文问题重构为持续学习问题：把上下文当作训练数据，让模型在读取中继续预测下一个Token，并将读到的信息压入权重。
• 三条支撑线索：
  1. Ilya此前在播客中强调AI应依赖持续学习，而非在预训练结束后就无所不知；
  2. 英伟达7月27日宣布与SSI长期战略合作并投资，据路透社报道金额约50亿美元，SSI算力将增加约一个数量级，英伟达表示看过SSI高度保密的研究后决定推进其进入下一阶段；
  3. TTT近两年持续升温，被视为比扩展上下文更接近人类学习的方式。

值得关注

模型在部署后自我修改存在安全风险：可能学错、学偏或遗忘原有能力。2016年微软聊天机器人Tay上线不到24小时即因输出攻击性内容被下线，便暴露了类似挑战。爆料称Ilya已解决该问题，但目前并无实证。如果消息属实，SSI押注的或许不是又一个更大的GPT，而是能在使用时持续改变自身的模型。