为什么神经网络会存在灾难性遗忘(catastrophic forgetting)这个问题？
2023-06-23 阅读 24
神经网络存在灾难性遗忘问题是因为其训练过程中采用的是梯度下降算法，该算法会不断更新网络参数，以使得网络能够更好地拟合训练数据。然而，当网络在学习新的任务时，它会忘记之前已经学习过的任务，这是因为网络在更新参数时会覆盖先前学到的知识。
具体来说，当神经网络学习新的任务时，它会更新一部分参数，以适应新的数据。然而，这些更新可能会导致网络忘记之前已经学习过的知识，因为先前学习的知识已经被编码在网络的参数中。因此，当网络在学习新的任务时，它需要同时保留之前学习过的知识和学习新的知识，这是一个非常具有挑战性的问题。
为了解决灾难性遗忘问题，研究人员提出了一些方法，如增量学习、重要性采样和动态网络结构等。这些方法可以使得网络在学习新的任务时能够保留之前学习的知识，从而避免灾难性遗忘问题的出现。
更新于 2023年06月23日
