1 注意力汇聚: Nadaraya-Watson 核回归

1.1 非参数注意力汇聚

我们想要学习数据集 ${\displaystyle \{(x_1,y_1),\cdots ,(x_n,y_n)\}}$. 直接基于平均值是很差的选择, 可以基于位置对 ${\displaystyle y_i}$ 加权: $$f(x)=\sum _{i=1}^n\frac{K(x-x_i)}{\sum _{j=1}^{n}K(x-x_j)}{y}_i.$$ 受这个启发, 对注意力机制框架, ${\displaystyle x}$ 是查询, ${\displaystyle (x_i,y_i)}$ 是键值对, $$f(x)=\sum _{i=1}^n\alpha (x,x_i)y_i.$$
例如, 定义 Gauss 核: ${\displaystyle K(u)=\frac{1}{\sqrt{2\pi }}\exp (-\frac{u^2}{2})}$, 则 $$f(x)=\sum _{i=1}^n\mathrm{softmax}(-\frac{1}{2}(x-x_i{)}^2)y_i.$$ 说明 ${\displaystyle x}$ 越接近 ${\displaystyle x_i}$, 分配的权重就越大. 当然权重中也可以带参数.

1.2

2 注意力评分函数

把上面的高斯核称为 (注意力)评分函数. 它会对输入加权, 最后用 softmax 归一化.

也即: 查询 ${\displaystyle q\in {\mathbb{R}}^q}$, 键值对 ${\displaystyle \{(k_1,v_1),\cdots ,(k_m,v_m)\},k_i\in {\mathbb{R}}^k,v_i\in {\mathbb{R}}^v}$, 则 $$f(q,(k_1,v_1),\cdots ,(k_m,v_m))=\sum _{i=1}^m\alpha (q,k_i)v_i\in {\mathbb{R}}^v,$$ 其中 $$\alpha (q,k_i)=\mathrm{softmax}(a(q,k_i))=\frac{\exp (a(q,k_i))}{\sum _{j=1}^m\exp (a(q,k_j))}\in \mathbb{R}.$$

2.1 掩蔽 softmax 操作

用来屏蔽没有意义的词元.

def masked_softmax(X, valid_lens):
    """通过在最后一个轴上掩蔽元素来执行softmax操作"""
    #X:3D张量，valid_lens:1D或2D张量
    if valid_lens is None:
        return npx.softmax(X)
    else:
        shape = X.shape
        if valid_lens.ndim == 1:
            valid_lens = valid_lens.repeat(shape[1])
        else:
            valid_lens = valid_lens.reshape(-1)
        #最后一轴上被掩蔽的元素使用一个非常大的负值替换，从而其softmax输出为0
        X = npx.sequence_mask(X.reshape(-1, shape[-1]), valid_lens, True,
                              value=-1e6, axis=1)
        return npx.softmax(X).reshape(shape)

在超出我们定义的 valid_lens 部分用很大的负值替换, 使得 softmax 后为 0.

2.2 加性注意力

2.3 缩放点积注意力

点积计算效率更高, 但是要求 ${\displaystyle q,k}$ 有相同长度 ${\displaystyle d}$. 假设两者的所有元素都 ${\displaystyle \stackrel{\mathrm{i}.\mathrm{i}.\mathrm{d}}{\sim }(0,1)}$, 则 ${\displaystyle k\cdot d\sim (0,d)}$, 为此标准化 (除以 ${\displaystyle \sqrt{d}}$): $$a(q,k)=q^{\mathrm{T}}k/\sqrt{d}.$$
小批量版本, 有 ${\displaystyle n}$ 个查询, ${\displaystyle m}$ 个键值对, 则查询 ${\displaystyle Q\in {\mathbb{R}}^{n\times d}}$, 键 ${\displaystyle K\in {\mathbb{R}}^{m\times d}}$, 值 ${\displaystyle V\in {\mathbb{R}}^{m\times v}}$: $$\mathrm{softmax}\left(\frac{Q{K}^{\mathrm{T}}}{\sqrt{d}}\right)V\in {\mathbb{R}}^{n\times v}.$$

3 Bahdanau 注意力

为了解决解码步骤使用和编码相同的上下文变量: 需要改变上下文变量.

3.1 模型

在 seq2seq 中, 我们把 ${\displaystyle c}$ (上下文变量) 变成 ${\displaystyle c_{t^{\prime }}}$. 假设 ${\displaystyle T}$ 个词元, $$c_{t^{\prime }}=\sum _{t=1}^T\alpha (s_{t^{\prime }-1},h_t)h_t.$$ 这里 ${\displaystyle s_{t^{\prime }-1}}$ 是查询, ${\displaystyle h_t}$ 既是键也是值, 我们暂时使用加性注意力作为评分函数.

3.2 注意力编码器

4 多头注意力

用多组注意力汇聚来学习不同行为并进行连结.

每一个注意力头 ${\displaystyle h_i(i=1,\cdots ,h)}$: $$h_i=f(W_i^{(q)}q,W_i^{(k)}k,W_i^{(v)}v)\in {\mathbb{R}}^{p_v},$$ 这里 ${\displaystyle q\in {\mathbb{R}}^{d_q},k\in {\mathbb{R}}^{d_k},v\in {\mathbb{R}}^{d_v}}$.
此外, 对多头注意力, 还需要线性转换 ${\displaystyle W_o(h_1,\cdots ,h_h{)}^{\mathrm{T}}\in {\mathbb{R}}^{p_o}}$.

5 自注意力和位置编码

自注意力: 同一组词元同时充当查询、键、值, 也即每一个查询都会关注所有键值对生成一个注意力输出, 称为自注意力.
给定 ${\displaystyle x_1,\cdots ,x_n}$, 自注意力输出为 $$y_i=f(x_i,(x_1,x_1),\cdots ,(x_n,x_n))\in {\mathbb{R}}^d(1\le i\le n)$$

5.1 位置编码

为了并行计算, 自注意力放弃了顺序操作, 改为添加位置编码, 对输入 ${\displaystyle X\in {\mathbb{R}}^{n\times d}}$, 输出 ${\displaystyle X+P}$, 其中 $$p_{i,2j}=\sin \left(\frac{i}{{10000}^{2j/d}}\right),p_{i,2j+1}=\cos \left(\frac{i}{{10000}^{2j/d}}\right).$$

6 Transformer

class PositionWiseFFN(nn.Module):
    """基于位置的前馈网络"""
    def __init__(self, ffn_num_input, ffn_num_hiddens, ffn_num_outputs,
                 **kwargs):
        super(PositionWiseFFN, self).__init__(**kwargs)
        self.dense1 = nn.Linear(ffn_num_input, ffn_num_hiddens)
        self.relu = nn.ReLU()
        self.dense2 = nn.Linear(ffn_num_hiddens, ffn_num_outputs)

    def forward(self, X):
        return self.dense2(self.relu(self.dense1(X)))