机器学习里的 Transformer 架构是什么?
2026-11-17 阅读 1
Transformer 是一种以“注意力机制”为核心的神经网络架构,最初用于序列到序列任务,后来广泛用于语言模型、机器翻译、图像和语音等领域。它的关键变化是:不必像循环神经网络那样逐个时间步传递状态,而能在一层内让序列中的各位置彼此建立联系,便于并行处理。
核心是自注意力(self-attention)。输入中的每个词元会映射成查询(Q)、键(K)和值(V)。模型用 Q 与各位置的 K 计算相关性分数,经过缩放和 softmax 得到权重,再对 V 加权求和。这样,“银行”一词的表示可以根据上下文关注“河岸”或“存款”等相关词。多头注意力会在不同子空间并行计算多组注意力,使模型能同时捕捉不同类型的关系。
由于注意力本身不包含词序,模型还需加入位置编码或位置嵌入;常见层结构还包括前馈网络、残差连接和层归一化。原始 Transformer 由编码器和解码器组成:编码器处理输入,解码器逐步生成输出,并用掩码避免看到尚未生成的未来词元。许多现代模型只采用其中一部分,例如编码器式模型用于理解任务,解码器式模型用于自回归生成。
它的优势是训练时易于并行,且能直接建模较远位置之间的依赖;代价是标准全注意力对长度为 n 的序列通常需要约 O(n²) 的注意力计算与存储,长上下文因此成本较高。实际效果还取决于数据、训练目标、模型规模和推理设置,Transformer 并不意味着模型天然理解或不会出错。
更新于 2026年11月17日
赞 0