量子位鹭羽
MemT 1.0 尝试在 Transformer 模型层原生集成记忆机制
原标题:RSI三块关键拼图,MemT 1.0从模型层补上「记忆」
模型68
模型对连续状态的留存不再完全依托外部外挂向量库。MemT 1.0 尝试将记忆机制直接整合进 Transformer 的模型层结构中,作为支持自我迭代能力的基础模块。在参数固有表征与持久动态记忆之间如何维持平衡,仍有待具体工程验证。
为什么值得读
将记忆从外挂检索模块下沉至 Transformer 模型原生层,为长周期自主进化架构提供了一种底层结构尝试。
标签
MemTTransformer模型架构记忆机制RSI自我迭代