本文将从ViT的本质、ViT的原理、ViT的应用三个方面，带您一文搞懂Vision Transformer｜ ViT 。

Vision Transformer（ViT）

一、 ViT 的本质

ViT的定义：ViT将Transformer架构从自然语言处理领域引入到计算机视觉中，用于处理图像数据。

在计算机视觉领域中，卷积神经网络（CNN）因其强大的局部特征提取能力而长期占据主导地位。然而，近年来，Vision Transformer（ViT）作为一种新兴的模型架构，已经开始在多个视觉任务中展现出与CNN相当甚至更好的性能。

CNN vs ViT

Transformer及其视觉变种Vision Transformer（ViT）发展历程中的关键节点如下，红色标记了与视觉任务相关的模型。

Transformer的发展历程

Transformer的起源：

• 2017年，Google提出了Transformer模型，这是一种基于Seq2Seq结构的语言模型，它首次引入了Self-Attention机制，取代了基于RNN的模型结构。

• Transformer的架构包括Encoder和Decoder两部分，通过Self-Attention机制实现了对全局信息的建模，从而能够解决RNN中的长距离依赖问题。

Transformer

ViT的出现：

• ViT采用了Transformer模型中的自注意力机制来建模图像的特征，这与CNN通过卷积层和池化层来提取图像的局部特征的方式有所不同。

• ViT模型主体的Block结构基于Transformer的Encoder结构，包含Multi-head Attention结构。

Vision Transformer（ViT）

ViT的进一步发展：

• 随着研究的深入，ViT的架构和训练策略得到了进一步的优化和改进，使其在多个计算机视觉任务中都取得了与CNN相当甚至更好的性能。

• 目前，ViT已经成为计算机视觉领域的一个重要研究方向，并有望在未来进一步替代CNN成为主流方法。

ViT的进一步发展

ViT的本质：将图像视为一系列的“视觉单词”或“令牌”（tokens），而不是连续的像素数组。

Vision Transformer

图像块（Image Patches）：

• ViT首先将输入图像切分为多个固定大小的图像块（patches）。

• 这些图像块被线性嵌入到固定大小的向量中，类似于NLP中的单词嵌入。

• 每个图像块都被视为一个独立的“视觉单词”或“令牌”，并用于后续的Transformer层中进行处理。

图像块（Image Patches）

二、 ViT 的原理

ViT的架构：通过将图像分割成一系列小块（patches）并视为序列化的token输入到Transformer编码器中，从而实现了图像特征的提取和分类。如下图所示：

ViT 的架构

ViT的核心组件：Patch Embeddings，Position Embeddings，Classification Token，Linear Projection of Flattened Patches，以及Transformer Encoder。

ViT的核心组件

1. Patch Embeddings：如上图虚线的左半部分，我们将图片分成固定大小的图像块patches（如图左下9×9的图像），将它们线性展开。

2. Position Embeddings：Position embeddings加到图像块中是为了保留位置信息的。

3. Classification Token：为了完成分类任务，除了以上九个图像块，我们还在序列中添加了一个*的块0，叫额外的学习的分类标记Classification Token。

4. Linear Projection of Flattened Patches：图像分割为固定大小的图像块（patches）后，将每个图像块展平（flatten）为一维向量，并通过一个线性变换（即线性投影层或嵌入层）将这些一维向量转换为固定维度的嵌入向量（patch embeddings）。

5. Transformer Encoder：由多个堆叠的层组成，每层包括多头自注意力机制（MSA）和全连接的前馈神经网络（MLP block）。

ViT的Transformer Encoder

ViT的工作流程：将图像分割为固定大小的图像块（patches），将其转换为Patch Embeddings，添加位置编码信息，通过包含多头自注意力和前馈神经网络的Transformer编码器处理这些嵌入，最后利用分类标记进行图像分类等任务。

ViT的工作流程

三、 ViT 的应用