模型描述

Vision Transformer（ViT）是一个transformer编码器模型（类似于BERT），以自监督方式预训练于一个大型图像集合（即ImageNet-1k），分辨率为224×224像素。
将图像作为固定大小的补丁序列（分辨率为16×16）呈现给模型，这些补丁被线性嵌入。在序列开始添加[CLS]令牌以用于分类任务。在将序列提供给Transformer编码器的层之前，还添加绝对位置嵌入。
请注意，此模型不包括任何微调头。
通过预训练模型，它学习了图像的内部表示，然后可以用于提取对下游任务有用的特征：例如，如果您有一个带标签的图像数据集，可以在预训练的编码器的顶部放置一个线性层来训练标准分类器。通常将线性层放置在[CLS]令牌的顶部，因为此令牌的最后隐藏状态可以看作是整个图像的表示。