用transformer做视觉，具体是怎么把图片转成token的？
2023-07-24 阅读 101
在使用Transformer模型进行视觉任务时，需要将图像转换为一系列的tokens。这可以通过以下步骤完成：
1. 预处理：首先，要对图像进行预处理。这可能包括调整图像的大小、裁剪、归一化等操作，以确保输入的图像具有一致的尺寸和范围。
2. 特征提取：接下来，使用一个预训练的卷积神经网络（如ResNet、VGG等）来提取图像的特征。这些特征可以通过在网络中的某一层截断来获取，通常是在全连接层之前的某个中间层。
3. 将特征映射到tokens：接下来，将提取的图像特征映射到tokens。这可以通过将每个特征向量划分为固定长度的子向量来实现，每个子向量对应一个token。
4. 添加特殊tokens：在tokens序列的开头和结尾添加特殊的tokens，如"[CLS]"和"[SEP]"，以便在Transformer模型中进行处理。
5. 填充和截断：根据模型的输入要求，对tokens序列进行填充或截断，使其具有固定的长度。
6. 生成输入张量：最后，将tokens序列转换为模型的输入张量。这可以通过将每个token映射为其对应的索引，并将整个序列表示为一个整数张量来实现。
请注意，上述步骤是一种常见的方法，但具体实现可能会因所使用的库和模型而有所不同。
更新于 2023年07月24日
