Vision Transformer(ViT)模型的工作原理是什么?
2026-11-17 阅读 2
Vision Transformer(ViT)的核心做法,是把图像转换成一串“视觉词元”,再像处理文本词元一样交给 Transformer 编码器建模。
具体来说,设输入图像大小为 H×W、每个图像块大小为 P×P、通道数为 C。模型先把图像切成 N=HW/P² 个不重叠小块,将每块展平并通过可训练的线性层映射到统一维度,得到 patch embedding。随后给每个词元加入位置编码,因为自注意力本身不带有图像块的空间顺序信息;通常还会在序列前加入一个可学习的 [CLS] 词元,供分类头汇总整幅图像的信息。
这段序列经过多层 Transformer 编码器。每层先以多头自注意力计算词元之间的关系:每个块都能直接利用其他块的信息,之后再经逐位置前馈网络处理,并通过残差连接和归一化稳定训练。分类时取 [CLS] 的输出(也可对词元做池化)接分类器;用于检测、分割等任务时,则把空间词元特征接入相应的任务头或解码器。
ViT 的优势是全局关系建模直接、结构规整,且在大规模数据和预训练下具有很强的迁移能力;但标准全局自注意力的计算与内存开销会随词元数近似按 N² 增长。图像分辨率越高或 patch 越小,词元越多,成本就越明显。与卷积网络相比,原始 ViT 的局部视觉归纳偏置较弱,数据不足时往往更难学好,因此实际使用常依赖大规模预训练、数据增强,或采用分层结构、窗口注意力等变体来平衡精度与效率。
更新于 2026年11月17日
赞 0