首页
再利用深度学习的自注意力机制的时候，下一个网络是直接用输出还是用一个权值赋值给原输入矩阵？
2023-08-11 阅读 31
在利用深度学习的自注意力机制时，通常会将注意力权重与原输入矩阵进行加权求和，得到一个加权后的表示。这个加权表示可以作为下一个网络的输入。所以，下一个网络通常会直接使用这个加权后的表示，而不是使用一个权值赋值给原输入矩阵。这样可以保留原始输入的信息，并且根据注意力权重对不同部分的重要性进行加权处理。
更新于 2023年08月11日
