模型编辑新范式，HSE实现大规模“安全洗脑”且能力反升

wisemodel开源社区 2025-12-09 18:09始智AI wisemodel官方账号

你是否想过，我们是如何“修正”大模型（LLM）的记忆的？这个过程叫做“模型编辑”（Model Editing）。它就像是给大模型“打补丁”或“更新记忆” ，比如告诉它一个新事实，或者纠正一个它的“幻觉”。

但一个核心问题是：你今天刚教会它“拜登是第46任总统”，明天它可能就忘了“特朗普是第45任”；你刚给它更新了最新的医疗知识，它在回答通用问题时就开始“胡言乱语”。对大模型进行持续的知识更新，是否必然导致“灾难性遗忘”（catastrophic forgetting）？是不是模型一编辑，就必然“性能崩溃”（model collapse）？

来自国防科技大学PDL的研究团队，在发表于NeurIPS 2025 的最新论文中，从生物大脑中汲取灵感，给出了一个颠覆性的答案：给大模型装上“海马体”！

研究团队受人脑海马体处理记忆的“三突触回路”启发，提出了一种全新的类海马体序列编辑（HSE）框架。该框架通过三大核心机制，彻底改变了模型编辑的“游戏规则”。当其他模型在连续编辑数百次后性能就“雪崩”至零时，HSE在连续编辑1000次后，通用能力不仅毫发无损，甚至还超越了原始模型！已上线始智AI-wisemodel开源社区，欢迎体验。

代码地址

https://wisemodel.cn/codes/SquareGroupsky/Hippocampal-like-Sequential-Editing

01.

揭秘HSE的“海马体”三部曲

为什么大模型会遗忘？因为它们缺乏人脑的精妙机制。HSE框架则模拟了海马体的三大法宝：

1. 机制一：主动遗忘 (Active Forgetting)

灵感来源：人脑会通过长时程抑制（LTD）机制主动忘记过时或冲突的信息。

HSE做法： 引入“机器遗忘”（Machine Unlearning）策略。在学习新知识过程中，“主动忘记”那些即将过时的旧知识，为新记忆腾出“神经空间”，从根源上解决新旧冲突。

2. 机制二：领域分离 (Knowledge Separation)

灵感来源：海马体的齿状回（DG）具有“模式分离”（Pattern Separation）功能，能将相似的输入信息映射到完全不同的神经元上，互不干扰。

HSE做法： 使用“Fisher Information Matrix” （FIM）来指导参数更新。FIM能识别出对不同知识领域最重要的参数，在编辑时“精准控制”更新幅度，确保编辑“医疗知识”时，不会干扰到“艺术知识”，防止跨域干扰。

3. 机制三：参数回放 (Parameter Replay)

灵感来源：人脑在休息时，海马体会“回放”（Replay）白天的经历（SWRs），将短期记忆固化为长期记忆。

HSE做法： 设计了一种高效的“参数回放”机制。它以一种轻量化的参数形式，不断“巩固”所有编辑过的历史知识，最终推导出严谨的闭式解（closed-form solution），在数学上保证了长期记忆的稳定。

02.

为什么HSE在数学上更优？

这篇成果的亮点绝不仅在于“仿生”，更在于其坚实的理论贡献：

1. 更紧的泛化界 (Tighter Generalization Bound):

研究者从数学上证明，其“主动遗忘”模块（MAF Loss）相比传统的交叉熵损失（CE Loss），能带来更紧的泛化误差上界（Corollary 1）。

2. 可证明的收敛性 (Provable Convergence):

研究者证明了其“参数回放”模块（LEM）的更新范数（Frobenius norm）是收敛的。

3. AlphaEdit只是一个特例：

AlphaEdit 是模型编辑领域一个强力的基线。但HSE从理论上指出，AlphaEdit的知识正交化方法，在数学上只是HSE所提出的“参数回放”公式的一个特例 。实验也表明，HSE的效果显著优于AlphaEdit 。

4. F-Norm洞察：

模型的“抗编辑性” 论文还揭示了一个关键洞察：原始模型的F-Norm（Frobenius Norm）越大，模型越能“抗编辑” 。Llama3和Mistral的F-Norm远小于GPT-J ，这导致它们对编辑更敏感，也更容易“崩溃” 。而HSE的LEM模块，正是通过约束F-Norm的增长，才成功驾驭了这些敏感模型。