Pytorch 微调（Fine-tuning）

Pytorch 微调（Fine-tuning） 0. 环境介绍

环境使用 Kaggle 里免费建立的 Notebook

教程使用李沐老师的 动手学深度学习 网站和 视频讲解

小技巧：当遇到函数看不懂的时候可以按 Shift+Tab 查看函数详解。

1. 微调 1.1 迁移学习（Transfer Learning）

假如我们想识别图片中不同类型的椅子，然后向用户推荐购买链接。 一种可能的方法是首先识别 100 把普通椅子，为每把椅子拍摄 1000 张不同角度的图像，然后在收集的图像数据集上训练一个分类模型。 共 100 × 1000 = 1 0 5 100 \times 1000 = 10^5 100×1000=105 张图片，数量不到 ImageNet 的十分之一。适合 ImageNet 的复杂模型可能会在这个椅子图片上过拟合。此外，由于训练样本数量有限，训练模型的准确性可能无法满足实际要求。

一个解决方案就是收集更多数据标记数据需要更多的时间和金钱成本。
另外一个解决策略就是迁移学习，迁移学习可以从源数据集学到的知识迁移到目标数据集。例如，尽管ImageNet数据集中的大多数图像与椅子无关，但在此数据集上训练的模型可能会提取更通用的图像特征，这有助于识别边缘、纹理、形状和对象组合。 这些类似的特征也可能有效地识别椅子。

1.2 微调

一个神经网络一般可以分为两块：

• 特征提取将原始像素变成容易线性分割的特征（一般是卷积层）
• 线性分类器来做分类（一般是MLP 和 Softmax）

迁移学习中的常见技巧：微调。
微调通过使用在大数据上得到的预训练好的模型来初始化模型权重，从而提升精度。这就要求预训练模型质量要有保证。微调通常速度更快、精度更高。

微调步骤：

1. 在源数据集（例如 ImageNet 数据集）上预训练神经网络模型，即源模型。
2. 创建一个新的神经网络模型，即目标模型。这将复制源模型上的所有模型设计及其参数（输出层除外）。我们假定这些模型参数包含从源数据集中学到的知识，这些知识也将适用于目标数据集。我们还假设源模型的输出层与源数据集的标签密切相关；因此不在目标模型中使用该层。
3. 向目标模型添加输出层，其输出数是目标数据集中的类别数。然后随机初始化该层的模型参数。
4. 在目标数据集（如椅子数据集）上训练目标模型。输出层将从头开始进行训练，而所有其他层的参数将根据源模型的参数进行微调。

1.3 加入微调训练

是一个目标数据集上的正常训练任务，但是要使用更强的正则化：

• 使用更小的学习率
• 是用更少的数据迭代

源数据集远复杂于目标数据，通常微调的效果更好。

1.4 重用分类器权重

• 源数据集可能也有目标数据中的部分标号
• 可以使用预训练好模型分类器中对应标号对应的向量来做初始化

1.5 固定一些层

神经网络通常学习有层次的特征表示

• 低层次的特征更加通用
• 高层次的特征则更跟数据集相关

所以可以固定底部的一些层的参数，使其不参与更新（更强的正则）

2. 代码 2.1 导入数据

使用的热狗数据集来源于网络。 该数据集包含 1400 张热狗的 “正类” 图像，以及包含尽可能多的其他食物的 “负类” 图像。 含着两个类别的 1000 张图片用于训练，其余的则用于测试。

解压下载的数据集，我们获得了两个文件夹hotdog/train和hotdog/test。 这两个文件夹都有hotdog（有热狗）和not-hotdog（无热狗）两个子文件夹， 子文件夹内都包含相应类的图像。

!pip install -U d2l
%matplotlib inline
import os
import torch
import torchvision
from torch import nn
from d2l import torch as d2l

d2l.DATA_HUB['hotdog'] = (d2l.DATA_URL + 'hotdog.zip',
                         'fba480ffa8aa7e0febbb511d181409f899b9baa5')

data_dir = d2l.download_extract('hotdog')

创建两个实例来分别读取训练和测试数据集中的所有图像文件：

train_imgs = torchvision.datasets.ImageFolder(os.path.join(data_dir, 'train'))
test_imgs = torchvision.datasets.ImageFolder(os.path.join(data_dir, 'test'))

显示前 8 个正类样本图片和最后 8 张负类样本图片：

hotdogs = [train_imgs[i][0] for i in range(8)]
not_hotdogs = [train_imgs[-i - 1][0] for i in range(8)]
d2l.show_images(hotdogs + not_hotdogs, 2, 8, scale=1.4);

对于 RGB（红、绿和蓝）颜色通道，我们分别标准化每个通道（这个是在 ImageNet 上做的 *** 作，直接 Copy 过来），训练集随机裁剪后 resize 到 224 × 224 224 \times 224 224×224，然后进行随机的水平翻转；测试集 resize 到 256 × 256 256 \times 256 256×256 后 取中间的 224 × 224 224 \times 224 224×224 像素的图像：

# 使用RGB通道的均值和标准差，以标准化每个通道
normalize = torchvision.transforms.Normalize(
    [0.485, 0.456, 0.406], [0.229, 0.224, 0.225])

train_augs = torchvision.transforms.Compose([
    torchvision.transforms.RandomResizedCrop(224),
    torchvision.transforms.RandomHorizontalFlip(),
    torchvision.transforms.ToTensor(),
    normalize])

test_augs = torchvision.transforms.Compose([
    torchvision.transforms.Resize(256),
    torchvision.transforms.CenterCrop(224),
    torchvision.transforms.ToTensor(),
    normalize])

Normalize 第一个参数为三个通道的均值，第二个参数为标准差。

2.2 定义和初始化模型

使用在 ImageNet 数据集上预训练的 ResNet-18 作为源模型，其中 pretrained=True 表示自动下载预训练的模型参数：

pretrained_net = torchvision.models.resnet18(pretrained=True)

预训练的源模型实例包含许多特征层和一个输出层 fc。 此划分的主要目的是促进对除输出层以外所有层的模型参数进行微调。 下面给出了源模型的成员变量 fc：

pretrained_net.fc

可以看到源模型是针对 ImageNet 数据集的千分类任务的，所以针对目标数据要进行修改，以下代码将千分类变成 2 分类：

finetune_net = torchvision.models.resnet18(pretrained=True)
finetune_net.fc = nn.Linear(finetune_net.fc.in_features, 2)
# 只对最后一层进行初始化
nn.init.xavier_uniform_(finetune_net.fc.weight)

2.3 微调模型

如果为预训练模型，输出层学习率调整为十倍：

# 如果param_group=True，输出层中的模型参数将使用十倍的学习率
def train_fine_tuning(net, learning_rate, batch_size=128, num_epochs=5,
                      param_group=True):
    train_iter = torch.utils.data.DataLoader(torchvision.datasets.ImageFolder(
        os.path.join(data_dir, 'train'), transform=train_augs),
        batch_size=batch_size, shuffle=True)
    test_iter = torch.utils.data.DataLoader(torchvision.datasets.ImageFolder(
        os.path.join(data_dir, 'test'), transform=test_augs),
        batch_size=batch_size)
    devices = d2l.try_all_gpus()
    loss = nn.CrossEntropyLoss(reduction="none")
    if param_group:
	    # 非最后一层全拿出来
        params_1x = [param for name, param in net.named_parameters()
             if name not in ["fc.weight", "fc.bias"]]
        trainer = torch.optim.SGD([{'params': params_1x},
        							## 最后一层用 10 倍的学习率
                                   {'params': net.fc.parameters(),
                                    'lr': learning_rate * 10}],
                                lr=learning_rate, weight_decay=0.001)
    else:
        trainer = torch.optim.SGD(net.parameters(), lr=learning_rate,
                                  weight_decay=0.001)
    d2l.train_ch13(net, train_iter, test_iter, loss, trainer, num_epochs,
                   devices)

2.4 训练

使用预训练模型：

train_fine_tuning(finetune_net, 5e-5)

可以发现刚开始精度就很高了，测试精度比训练精度还高。

为了进行比较，所有模型参数都进行初始化：

scratch_net = torchvision.models.resnet18()
scratch_net.fc = nn.Linear(scratch_net.fc.in_features, 2)
train_fine_tuning(scratch_net, 5e-4, param_group=False)

可以看到效果没有微调模型好。

2.5 冻结全连接层之前参数

finetune_net2 = torchvision.models.resnet18(pretrained=True)
finetune_net2.fc = nn.Linear(finetune_net2.fc.in_features, 2)
nn.init.xavier_uniform_(finetune_net2.fc.weight)

for name, param in finetune_net2.named_parameters():
    if 'fc' not in name:
        param.requires_grad = False
    
train_fine_tuning(finetune_net2, 5e-5)

2.6 使用 ImageNet 中自带与目标数据相关的权重进行初始化

微调模型，输出层两个神经元，把第一个神经元（下标为 0）权重初始化为 ImageNet 中相关数据权重（如果想问为什么是第一个而不是第二个？因为热狗训练数据集中正例的标签值为 0，所以初始化第一个（下标为 0）神经元的权重参数）：

finetune_net3 = torchvision.models.resnet18(pretrained=True)
finetune_net3.fc = nn.Linear(finetune_net3.fc.in_features, 2)
nn.init.xavier_uniform_(finetune_net3.fc.weight)

# 因为我们是热狗分类任务, ImageNet 里面第 934 个类别也是热狗, 可以直接拿出来作为目标模型的初始化
weight = finetune_net3.fc.weight
hotdog_w = torch.split(weight.data, 1, dim=0)[934]
print(hotdog_w.shape)

# 输出层两个神经元, 把第一个神经元(下标为 0)权重初始化为 ImageNet 中相关数据权重
finetune_net3.fc.weight[0].data = hotdog_w

train_fine_tuning(finetune_net3, 5e-5)