有趣的事

机器人学会新技能后往往会忘记旧技能,该从哪些方向破解这类技术难题?

这类问题通常称为“灾难性遗忘”:模型为适应新任务更新参数时,原有知识所依赖的表示或权重被覆盖。破解它没有单一通用方案,关键是按数据能否保留、任务是否已知、资源预算和旧能力的重要性来组合方法。

最直接的是经验回放:保留少量旧任务样本,或用旧模型生成可复用样本,与新数据混合训练。它通常效果稳健,但受隐私、存储和数据分布偏差约束;无法保存原始数据时,可考虑生成式回放或只保存统计摘要,不过要检查合成数据是否遗漏长尾能力。

另一条路线是约束参数更新。弹性权重巩固(EWC)、Synaptic Intelligence 等方法估计哪些参数对旧任务重要,训练新任务时尽量少改动这些参数;知识蒸馏则让新模型在旧任务输入上保持接近旧模型的输出。这些方法不必长期保存全部旧数据,但任务差异很大或连续学习很多轮时,保护强度可能不足,也可能限制新任务的学习。

还可以采用结构隔离或扩展,例如为任务分配适配器、模块或可增长的子网络,再通过路由选择相应能力。它能减少相互干扰,代价是模型容量、部署复杂度增加;若任务到来时未知,路由本身也需要学习。实际系统常把共享骨干与轻量任务模块结合。

工程上应把“旧技能是否保住”纳入训练闭环:建立跨任务验证集,既看新任务效果,也定期测旧任务准确率、最坏任务退化和校准表现;采用分阶段训练、较小学习率或回滚检查点,发现退化就调整回放比例、正则强度或模块划分。对语言模型,还要覆盖不同提示、领域和安全行为,避免只在少数基准题上看起来没有遗忘。

选择上,数据可保存且任务多样时优先试回放;隐私或存储受限时考虑正则化与蒸馏;任务边界清楚、旧能力不可损失时可用模块化隔离。通常需要组合,并依据持续评测而不是只看新任务分数来调参。

相关阅读