深度学习attention机制中的Q,K,V分别是从哪来的？
2023-06-25 阅读 51
在深度学习attention机制中，Q、K、V分别代表查询向量、键向量和值向量。
在自注意力机制中，输入序列经过三个线性变换，分别得到查询向量Q、键向量K和值向量V。其中，查询向量Q用于计算输入序列中每个位置与其他位置的相似度，键向量K用于描述输入序列中每个位置的重要性，值向量V则用于表示输入序列中每个位置的信息。通过计算Q和K的相似度，可以得到每个位置对其他位置的注意力权重，然后将这些权重与对应位置的值向量V相乘，最终得到加权后的表示，即自注意力表示。
更新于 2023年06月27日
