1 多层感知机

线形的假设是很强的, 很多时候也不能拟合所有关系. 为此, 可以在网络中加入更多的层, 来拟合更加复杂的关系.

1.1 隐藏层

我们同样假设 ${\displaystyle X\in {\mathbb{R}}^{n\times d}}$ (${\displaystyle n}$ 个样本, ${\displaystyle d}$ 个特征). 对隐藏层, 假设有 ${\displaystyle h}$ 个隐藏单元, 则隐藏层输出为 ${\displaystyle H\in {\mathbb{R}}^{n\times h}}$, 从而 $$H=X{W}^{(1)}+b^{(1)},O=H{W}^{(2)}+b^{(2)}.$$
但事实上, 这和单层没有任何区别: $$O=(X{W}^{(1)}+b^{(1)})W^{(2)}+b^{(2)}=X{W}^{(1)}{W}^{(2)}+b^{(1)}{W}^{(2)}+b^{(2)}.$$
因此只要取 ${\displaystyle W=W^{(1)}{W}^{(2)},b=b^{(1)}{W}^{(2)}+b^{(2)}}$ 即可用单层进行等价替换!
为了实现不平凡的多层效果, 需要添加非线性的激活函数 ${\displaystyle \sigma }$, 例如 softmax 函数: $$H^{(1)}={\sigma }_1(X{W}^{(1)}+b^{(1)}),H^{(2)}={\sigma }_2(H^{(1)}{W}^{(2)}+b^{(2)}).$$

1.2 激活函数

1.2.1 ReLU 函数

可以用 y = torch.relu(x) 来计算. 在输入值精确等于 0 时, 导数规定使用左导数 0.
ReLU 有一些变体, 例如 pReLU (参数化 ReLU): $$\mathrm{pReLU}(x)=max(0,x)+\alpha min(0,x).$$

1.2.2 Sigmoid 函数

它会将值映射到 ${\displaystyle (0,1)}$. 容易知道: $$\frac{\mathrm{d}}{\mathrm{d}x}\mathrm{sigmoid}(x)=\frac{\exp (-x)}{(1+\exp (-x){)}^2}=\mathrm{sigmoid}(x)(1-\mathrm{sigmoid}(x)).$$

1.2.3 tanh 函数

2 模型选择 欠拟合 过拟合

3 权重衰减/L2 正则化

在原先的损失函数 $$L(w,b)=\frac{1}{n}\sum _{i=1}^n\frac{1}{2}(w^{\mathrm{T}}{x}^{(i)}+b-y^{(i)}{)}^2$$ 的基础上, 惩罚过大的参数 ${\displaystyle w}$, 因此损失函数变为 $$L(w,b)+\frac{\lambda }{2}||w|{|}^2,$$ 此时小批量随机梯度下降的更新变为 $$w\leftarrow (1-\eta \lambda )w-\frac{\eta }{|\mathcal{B}|}\sum _{i\in \mathcal{B}}{x}^{(i)}(w^{\mathrm{T}}{x}^{(i)}+b-y^{(i)}).$$

3.1 从零实现

3.2 简洁实现

4 暂退法 (Dropout)

4.1 流程

在多层神经网络中, 我们在训练过程中随机丢弃一些神经元(在训练过程的每一次迭代中, 在计算下一层前将当前层的一些节点清零).
对于剩下未被丢弃的节点, 进行规范化(normalization), 来消除偏差, 也即以概率 ${\displaystyle p}$ 修改中间活性值: $$h^{\prime }=\{\begin{array}{rl}& 0,p\text{ probability,}\\ & \frac{h}{1-p},\mathrm{else}.\end{array}$$
例如, 我们在下面的隐藏层删除了 ${\displaystyle h_2,h_5}$, 这样即使在梯度更新的反向传播中他们也消失了.

然而在测试时, 所有被 dropout 的值都会参与计算. (测试时 dropout 不参与计算的情形, 仅用于测试网络的稳定性)

4.2 从零实现

import torch
from torch import nn

def dropout_layer(X, dropout):
    assert 0 <= dropout <= 1
    if dropout == 1:
        return torch.zeros_like(X)
    if dropout == 0:
        return X
    mask = (torch.rand(X.shape) > dropout).float()
    return mask * X / (1.0 - dropout)

通常在靠近输入层的地方我们设置较低的 dropout 概率.

num_inputs, num_outputs, num_hiddens1, num_hiddens2 = 784, 10, 256, 256
dropout1, dropout2 = 0.2, 0.5

class Net(nn.Module):
    def __init__(self, num_inputs, num_outputs, num_hiddens1, num_hiddens2, is_training=True)
        super(Net, self).__init__()
        self.self.num_inputs = num_inputs
        self.training = is_training
        self.lin1 = nn.Linear(num_inputs, num_hiddens1)
        self.lin2 = nn.Linear(num_hiddens1, num_hiddens2)
        self.lin3 = nn.Linear(num_hiddens2, num_outputs)
        self.relu = nn.ReLU()
    
    def forward(self, X):
        H1 = self.relu(self.lin1(X.reshape((-1, self.num_inputs))))
        if self.training == True:
            H1 = dropout_layer(H1, dropout1)
        H2 = self.relu(self.lin2(H1))
        if self.training == True:
            H2 = dropout_layer(H2, dropout2)
        out = self.lin3(H2)
        return out

net = Net(num_inputs, num_outputs, num_hiddens1, num_hiddens2)

4.3 简洁实现

net = nn.Sequential(nn.Flatten(),
                    nn.Linear(784, 256),
                    nn.ReLU(),
                    nn.Dropout(dropout1),
                    nn.Linear(256, 256),
                    nn.ReLU(),
                    nn.Dropout(dropout2),
                    nn.Linear(256, 10))

def init_weights(m):
    if type(m) == nn.Linear:
        nn.init.normal_(m.weight, std=0.01)

net.apply(init_weights)

5 前向传播 反向传播 计算图

5.1 前向传播

前向传播 (forward propagation/pass), 就是指按顺序计算输出的值. 例如, 我们有一个隐藏层(不包含偏置项), 一个激活层, 一个输出层, 输入为 ${\displaystyle x\in {\mathbb{R}}^d}$, 隐藏层权重为 ${\displaystyle W^{(1)}\in {\mathbb{R}}^{h\times d}}$, 输出层为 ${\displaystyle W^{(2)}\in {\mathbb{R}}^{q\times h}}$, 则输出结果为 $$o=W^{(2)}\varphi (W^{(1)}x)\in {\mathbb{R}}^q.$$
我们可以计算带正则项的损失函数 $$J=l+s=l(o,y)+\frac{\lambda }{2}(||W^{(1)}|{|}_F^2+||W^{(2)}|{|}_F^2).$$
上述流程可以用计算图来表示:

5.2 反向传播

反向传播是计算参数梯度来更新参数. 需要使用链式法则. 一般地, 给定 ${\displaystyle Y=f(X),Z=g(Y)}$, $$\frac{\partial Z}{\partial X}=\mathrm{prod}(\frac{\partial Z}{\partial Y},\frac{\partial Y}{\partial X}).$$ 这里 ${\displaystyle \mathrm{prod}}$ 表示换位、交换输入位置等必要操作, 对于向量, 它只是矩阵-矩阵乘法.

对于上面的例子, 首先 $$\frac{\partial J}{\partial l}=1,\frac{\partial J}{\partial s}=1.$$ 进而 $$\frac{\partial J}{\partial o}=\mathrm{prod}(\frac{\partial J}{\partial l},\frac{\partial l}{\partial o})=\frac{\partial l}{\partial o}\in {\mathbb{R}}^q.$$ 然后正则化项 $$\frac{\partial s}{\partial W^{(1)}}=\lambda W^{(1)},\frac{s}{\partial W^{(2)}}=\lambda W^{(2)}.$$
回到输出层 $$\frac{\partial J}{\partial W^{(2)}}=\mathrm{prod}(\frac{\partial J}{\partial o},\frac{\partial o}{\partial W^{(2)}})+\mathrm{prod}(\frac{\partial J}{\partial s},\frac{\partial s}{\partial W^{(2)}})=\frac{\partial J}{\partial o}{h}^{\mathrm{T}}+\lambda W^{(2)}.$$
进而到隐藏层 $$\frac{\partial J}{\partial h}=\mathrm{prod}(\frac{\partial J}{\partial o},\frac{\partial o}{\partial h})=W^{(2{)}^{\mathrm{T}}}\frac{\partial J}{\partial o}.$$ 由于激活函数 ${\displaystyle \varphi }$ 是按元素计算的, 需要使用逐元素乘法 ${\displaystyle \odot }$: $$\frac{\partial J}{\partial z}=\mathrm{prod}(\frac{\partial J}{\partial h},\frac{\partial h}{\partial z})=\frac{\partial J}{\partial h}\odot {\varphi }^{\prime }(z).$$
最后输入层: $$\frac{\partial J}{\partial W^{(1)}}=\mathrm{prod}(\frac{\partial J}{\partial z},\frac{\partial z}{\partial W^{(1)}})+\mathrm{prod}(\frac{\partial J}{\partial s},\frac{\partial s}{\partial W^{(1)}})=\frac{\partial J}{\partial z}{x}^{\mathrm{T}}+\lambda W^{(1)}.$$

6 梯度稳定性和模型初始化

6.1 梯度消失与梯度爆炸

6.2 参数初始化: Xavier 初始化

这里不讨论随机正态分布初始化这种做法, 尽管它效果一般来说很有效.
首先考虑没有非线性的全连接层输出: $$o_i=\sum _{j=1}^{n_{\mathrm{in}}}{w}_{ij}{x}_j,w_{ij}\stackrel{\mathrm{i}.\mathrm{i}.\mathrm{d}}{\sim }(0,{\sigma }^2),x_j\stackrel{\mathrm{i}.\mathrm{i}.\mathrm{d}}{\sim }(0,{\gamma }^2).$$ 此时 $$\begin{array}{rl}\mathbb{E}[o_i]& =\sum _{j=1}^{n_{\mathrm{in}}}\mathbb{E}[w_{ij}]\mathbb{E}[x_j]=0,\\ \mathrm{Var}(o_i)& =\mathbb{E}[o_i^2]-(\mathbb{E}{o}_i{)}^2=\sum _{j=1}^{n_{\mathrm{in}}}\mathbb{E}[w_{ij}^2]\mathbb{E}[x_j^2]=n_{\mathrm{in}}{\sigma }^2{\gamma }^2,\end{array}$$ 因此若要保持输出内容相比 ${\displaystyle x_i}$ 方差不变, ${\displaystyle n_{\mathrm{in}}{\sigma }^2=1}$. 而类似的, 在反向传播中我们也需要要求 ${\displaystyle n_{\mathrm{out}}{\sigma }^2=1}$, 但我们不能同时满足这两个要求, 因此只需要 $$\frac{1}{2}(n_{\mathrm{in}}+n_{\mathrm{out}}){\sigma }^2=1⟺\sigma =\sqrt{\frac{2}{n_{\mathrm{in}}+n_{\mathrm{out}}}}.$$ 现在, 我们从 ${\displaystyle \mathcal{N}(0,{\sigma }^2=\frac{2}{n_{\mathrm{in}}+n_{\mathrm{out}}})}$ 中采样权重. 或者, 我们可以从均匀分布 ${\displaystyle \mathrm{Unif}(-a,a)}$ 中采样. 为了让两者方差一致, $$\frac{a^2}{3}={\sigma }^2\Rightarrow a=\sqrt{\frac{6}{n_{\mathrm{in}}+n_{\mathrm{out}}}},$$ 也即 ${\displaystyle U(-\sqrt{\frac{6}{n_{\mathrm{in}}+n_{\mathrm{out}}}},\sqrt{\frac{6}{n_{\mathrm{in}}+n_{\mathrm{out}}}})}$.

7 环境和分布偏移