有趣的事

MIT「Astra改写神经网络权重」工作被高估了吗?若研究有效,基于此可以有哪些突破?

是否“被高估”,不能只看“改写了权重”这个演示;关键要看它是否在独立测试中稳定、可复现地改变目标能力,同时保留无关能力,并且优于微调、检索增强或直接编辑少量参数等基线。还要检查效果是否只是提示词适配、训练数据记忆或评测集泄漏,以及在不同模型、任务和规模上是否成立。

如果这些条件都经得住检验,这类工作真正有价值的地方可能不是“改几个权重就能任意改造神经网络”,而是提供更精确、可定位、可撤销的模型知识编辑方法。潜在突破包括低成本修正过时或错误信息、定向移除特定记忆、更新模型而少损害其他能力,以及更好地研究哪些参数和回路承载某种行为。若只在单一任务或小规模模型上有效,更合理的评价是有启发性的技术演示,而非通用的模型改写能力。

相关阅读