随着Transformer模型的迅速普及，Self-Attention（自注意力机制）和Multi-Head Attention（多头注意力机制）成为了自然语言处理(NLP)领域中的核心组件。本文将从简要介绍、工作流程、两者对比三个方面，为您解析这两种注意力机制。

一、简要介绍

Self-Attention（自注意力机制）：使输入序列中的每个元素能够关注并加权整个序列中的其他元素，生成新的输出表示，不依赖外部信息或历史状态。

• Self-Attention允许输入序列中的每个元素都与序列中的其他所有元素进行交互。

• 它通过计算每个元素对其他所有元素的注意力权重，然后将这些权重应用于对应元素的表示，从而得到一个加权和的输出表示。

• Self-Attention不依赖于外部信息或先前的隐藏状态，完全基于输入序列本身。

Self-Attention

Multi-Head Attention（多头注意力机制）：通过并行运行多个Self-Attention层并综合其结果，能够同时捕捉输入序列在不同子空间中的信息，从而增强模型的表达能力。

• Multi-Head Attention实际上是多个并行的Self-Attention层，每个“头”都独立地学习不同的注意力权重。
• 这些“头”的输出随后被合并（通常是拼接后再通过一个线性层），以产生最终的输出表示。
• 通过这种方式，Multi-Head Attention能够同时关注来自输入序列的不同子空间的信息。

Multi-Head  Attention

二、工作流程

Self-Attention（自注意力机制）：通过生成查询、键和值向量，计算并归一化注意力分数，最终对值向量进行加权求和，从而得到输入序列中每个位置的加权表示。

Self-Attention工作流程

第一步：查询、键和值的生成

• 输入：接收一个由嵌入向量组成的输入序列，这些嵌入向量可以是词嵌入加上位置嵌入。
• 处理：使用三个独立的线性层（或称为密集层）为每个输入向量生成查询（Q）、键（K）和值（V）向量。
  • 查询向量用于表示当前焦点或希望获取的信息。
  • 键向量用于确定与查询向量匹配的信息。
  • 值向量包含与相应的键向量关联的实际信息。

第一步：查询、键和值的生成

第二步：注意力矩阵的计算

• 处理：计算查询向量和所有键向量之间的点积，形成一个注意力分数矩阵。
  • 这个矩阵的每个元素表示一个查询向量和对应键向量之间的相关性分数。
  • 由于点积操作，分数可能非常大或非常小。

第二步：注意力矩阵的计算

第三步：归一化注意力分数

• 处理：应用softmax函数对注意力分数矩阵进行归一化。
  • 归一化后，每行的和为1，每个分数表示对应位置信息的权重。
  • 在应用softmax之前，通常会除以一个缩放因子（如查询或键向量维度的平方根）来稳定梯度。

第三步：归一化注意力分数

第四步：加权和输出

• 处理：使用归一化后的注意力权重对值向量进行加权求和。
  • 加权求和的结果是自注意力机制的输出，它包含了输入序列中所有位置的加权信息。
  • 输出向量的每个元素都是输入向量的加权和，权重由注意力机制决定。

第四步：加权和输出

Multi-Head Attention（多头注意力机制）：通过将输入的查询、键和值矩阵分割成多个头，并在每个头中独立计算注意力，再将这些头的输出拼接并线性变换，从而实现在不同表示子空间中同时捕获和整合多种交互信息，提升模型的表达能力。

Multi-Head Attention工作流程

• 初始化: 首先，初始化必要的参数，包括查询、键和值矩阵的权重，以及多头注意力中的头数。这些权重将用于后续的线性变换。
• 线性变换: 对输入的查询、键和值矩阵进行线性变换。这些线性变换是通过与相应的权重矩阵相乘来实现的。变换后的矩阵将用于后续的多头注意力计算。
• 分割与投影: 将线性变换后的查询、键和值矩阵分割成多个头。每个头都有自己的查询、键和值矩阵。然后，在每个头中独立地计算注意力分数。
• 缩放与Softmax: 对每个头的注意力分数进行缩放，以避免梯度消失或爆炸的问题。然后，应用Softmax函数将注意力分数归一化，使得每个位置的权重之和为1。
• 加权求和: 使用归一化后的注意力权重对值矩阵进行加权求和，得到每个头的输出矩阵。
• 拼接与线性变换: 将所有头的输出矩阵拼接在一起，形成一个大的输出矩阵。然后，对这个输出矩阵进行线性变换，得到最终的输出。

三、两者对比