Yolov5自定义图片训练测试及模型调优（详细过程）

Yolov5自定义图片训练测试及模型调优（详细过程）

• 1. 图像数据获取、标注
• 2. 数据集划分及准备
• 3. 配置训练参数，准备训练：
• • 3.1 修改data/训练配置xxx.yaml文件：
  • 3.2 修改models模型配置xxx.yaml文件
• 4. 开始训练
• 5. 测试训练后的模型：
• 6. 模型的参数调优
• 博主热门文章推荐：

书接上篇 半小时搞定Yolov5安装配置及使用（详细过程）

---

1. 图像数据获取、标注

如果自定义训练自己的数据集，首先需要数据标注，至于数据来源可以是下载现有的开发数据集、拍照、爬虫等等。
如果是拍照、爬虫等获取的数据图片，需要进行数据标注，这个过程可以使用工具来做，但也需要一些手动 *** 作 。。并且图片越多越好，如果样本过少，模型训练和预测都会受到影响，非常容易欠拟合。

这里因为针对自定义数据大多不存在现有数据集，所以我使用了手机拍照方式，获取图片。

图片标注工具有很多，这里我使用的Makesense AI工具对图像添加标签：

• 地址：https://www.makesense.ai/

makesense.ai是强大且免费使用的 为照片加标签的在线工具

makesense.ai不需要安装，直接用浏览器即可，非常方便：而且能够直接导出Yolo格式，不需要在用工具转换了。。。

（当然还有别的工具例如labelimg等，但只能导出xml，需要脚本进行xml-txt转换，不过labelimg这类本地Tools数据隐私/安全性更高）

将待标注的图片文件拖拽或点击上传，之后点击Object Detection：

点击ObjectDetection后，系统提示需要我们添加标签，根据需要，添加Lable的名称
（根据待测数据集，有几类就添加几个）

添加完标签名称后，点击start project。
下一步进入工作台，通过Rect画矩形框进行标注：

makesense支持点，线，区域标注

标注完成后，点击Export Annotations导出labels

选择Yolo格式

导出的标注 label文件，其实就是类别和区域位置，每一个lable格式分别代表：

• class x_center y_center width height

对应lable文件每行的内容，例如：

因为我们使用了makesense.ai 可以直接生成yolo格式的label txt，所以之后不需要使用工具进行转换了，直接copy到数据集即可，非常方便。。。否则如果是xml文件格式，还需要脚本进行xml-txt转换。。。

---

2. 数据集划分及准备

首先划分测试数据集，将自定义测试的图像数据和标签数据集分别 划分为：训练集、验证集、测试集，，比例根据数据量不同，一般可以为 96%:2%:2%

仿照Yolov5原生格式，我们新建一个datasets目录，并创建images，labels两个子目录，分别存放待训练的图像以及标注后的label数据:

并分别创建数据集目录 train/val/test，

将相应测试数据集分别放入相应文件夹中（文件名要一一对应），如下图：

到这一步训练所需数据集划分及准备 就完成了，

---

3. 配置训练参数，准备训练：

和Yolov3/Yolov4中的.cfg配置文件不同，Yolov5参数配置文件都是以.yaml的格式

3.1 修改data/训练配置xxx.yaml文件：

下面需要修改Yolov5的训练配置参数，既自定义制作自己使用的训练.yaml配置文件：

为了方便修改，我们可以copy一份原有的data/coco128.yaml, 重命名一下，并修改其中的参数为自定义训练的参数：

先看下coco128.yaml，可以看到原有coco训练集的类别数量是80个，标签（模型能识别的类别名）分别是下面的name

根据具体需要修改，我这里测试所用的修改为：

• 修改path/train/val/test的目录路径为自定义数据集路径
• 将nc（number of classes）改为 2
• 修改Names为自己数据的类别名
• 注释掉Download

train.py在训练过程中，会将路径中的images替换为 labels来寻找labels数据
修改后的yaml:

3.2 修改models模型配置xxx.yaml文件

进入models/目录，可以看到有四个模型配置的yaml文件：

根据需要选择其中的模型yaml进行修改，这里为了精度，以模型网络参数量最多的yolov5x为例，打开yolov5x.yaml：

Model的yaml文件中都是模型网络相关配置参数，例如nc下面的depth_multiple是指网络的深度，width_multiple是网络的宽度， anchors是锚标（标出物体的方框），backbone既骨干网络

yolov5x.yaml里面就是yolov5x 模型训练的具体参数了，这里和上面一样对应也做修改
建议还是copy出一份新的yaml，进行修改：

• nc 修改为2，
• 针对Anchors ，如果自己提前聚类过，可以同步把计算后anchors修改下，如果没有可以不修改

因为Yolov5默认已经能够 自动判断是否需要重新进行聚类anchors的功能（使用K-means），所以这里我没有 *** 作

---

4. 开始训练

在修改完两个yaml配置文件后，就可以开始训练了：

python train.py --cfg models/yolov5m_tstat.yaml --data data/Tstat.yaml --weights yolov5m.pt --epoch 150 --batch-size 32

开始训练：

然后就是漫长的traning过程，等待训练完成。。。

训练完后，通过最后log可以看到训练好的模型的权重保存在了runs/train/exp17/weights/last.pt和best.pt

其中还包括了PR Curve 曲线、Confusion matric （混淆矩阵）、results.png/txt 等训练过程数据

train.py相关参数解析：

• weights：权重文件路径，如果是’'则重头训练参数，如果不为空则做迁移学习，权重文件的模型需与cfg参数中的模型对应
• epochs：指的就是训练过程中整个数据集将被迭代多少次
• batch-size：每次梯度更新的批量数，指一次看完多少张图片才进行权重更新
• config-thres: 模型目标检测的置信度阈值
• cfg：存储模型结构的配置文件
• data：存储训练、测试数据的文件
• img-size：输入图片的宽高
• rect：进行矩形训练
• resume：恢复最近保存的模型开始训练
• nosave：仅保存最终checkpoint
• notest：仅测试最后的epoch
• evolve：进化超参数
• cache-images：缓存图像以加快训练速度
• name： 重命名results.txt to results_name.txt
• device：cuda device, i.e. 0 or 0,1,2,3 or cpu
• adam：使用adam优化
• multi-scale：多尺度训练，img-size +/- 50%
• single-cls：单类别的训练集

---

5. 测试训练后的模型：

同样使用detect.py，weights使用新训练后的best.pt，测试图片可以拍一个新照片，或者找一个之前没有用到的图片

python detect.py --weights runs/train/exp16/weights/best.pt --source data/test/Tc400_137.jpg

（图片的置信度0.9是在模型调优后才达到的）


train_batch0.jpg：可以看到模型在训练过程，模型分别使用0和1代表两个不同的label/class，

Yolov5官网的预训练模型在训练中使用的coco数据集，也是通过0-80数字来分别代表不同的label/class

例如官方文档提供的train_batch0.jpg示例图片 ，对应了预训练模型训练时的batch 0：

测试实时摄像头识别如下，识别的区分度还是有的~

6. 模型的参数调优

细心的小伙伴们可以发现上面目标检测识别的置信度比较低（在实时摄像头检测的置信度都低于0.2)。。

良好的模型一般置信度要在0.6以上，识别率要达到90%以上。

因此这次训练出来的模型识别效果很差，不能使用，这是因为上面训练过程没有进行模型的调优。

接下来需要进行YOLOv5模型参数的调优，才能提高识别率及置信度。。。（或提高样本数据量然后重新训练）

train.py会默认使用的源码自带的模型超参数 (HyperParameter)，这些参数针对Githu上的源码在训练时的数据集（如coco数据集）或许最优，但不一定在我们自定义的数据中是有效的。

实际上，Github上的预训练模型在识别率等方面也有一定缺陷，不能直接应用在实际工程中，在大多数应用中都需要重新调整，并基于相应数据集训练适用于自己项目的模型。。。

在经过模型hyp参数调优后，置信度显著得到提升，最终测试 ，实时摄像头检测的置信度能达到0.6以上，纯img检测图像更是能达到0.9：

参数调优过程一般要反复多次进行微调<->训练<->测试，最终得出符合需求/较优的HyperPara，应用在项目中

先上图：

调整超参数在data/hyps/hyp.finetune.yaml：

这里最终主要是调整了lr0(学习率)为0.0030，同时修改了epoch、batch-size

部分hyp超参数意义：

• lr0: 0.0032 #学习率
• lrf: 0.12 # 余弦退火超参数 (CosineAnnealing）
• momentum: 0.843 # 学习率动量
• weight_decay: 0.00036 # 权重衰减系数
• warmup_epochs: 2.0 #预热学习epoch
• warmup_momentum: 0.5 #预热学习率动量
• warmup_bias_lr: 0.05 #预热学习率
• box: 0.0296 # giou损失的系数
• cls: 0.243 # 分类损失的系数
• cls_pw: 0.631 #分类BCELoss中正样本的权重
• obj: 0.301 # 有无物体损失的系数
• obj_pw: 0.911 # 有无物体BCELoss中正样本的权重
• iou_t: 0.2 # 标签与anchors的iou阈值iou training threshold

并且增大epoch到1000，batch-size增大到64，重新使用train.py训练，训练时间也增加了不少（这次用了12小时）

python train.py --cfg models/yolov5m_tstat.yaml --data data/Tstat.yaml --weights yolov5m.pt --epoch 1000 --batch-size 64

当然还要考虑一点，针对视频图像识别中，移动的物体识别率本身就比静止图像差，同时运动检测越剧烈，偏差越大。。。

例如把设备放到桌面上 这样的识别率及置信度都会更稳定一些：

同时还要考虑到，我在这里的测试过程，是手工拍照的数据量比较小，也可能会导致模型欠拟合，造成模型识别效果不良。

实际图像数据量，每个类别最好大于1500张，并且做一些图像增强、变换等数据预处理技术。 增加模型的鲁棒性，防止过拟合。

针对模型调优的技巧，可参考官网的Tips：https://docs.ultralytics.com/tutorials/training-tips-best-results/

在进行模型测试时，无论是加载模型的速度还是对测试图片的推理速度，都能明显感觉到Yolov5速度更快，尤其是加载模型的速度，因为同样的数据集训练出来的模型Yolov5更加轻量级，模型大小减小为Yolov3的将近四分之一。

---

至此Yolov5自定义数据训练及测试 /模型调优 都已完成。。。

附Yolov5的网络模型结构图（图片来自知乎江大白​）

下面将继续开始对Yolov5的源码和骨干网络进行深入探讨。。。

---

博主热门文章推荐：

一篇读懂系列：

• 一篇读懂无线充电技术（附方案选型及原理分析）
• 一篇读懂：Android/iOS手机如何通过音频接口（耳机孔）与外设通信
• 一篇读懂：Android手机如何通过USB接口与外设通信（附原理分析及方案选型）

LoRa Mesh系列：

• LoRa学习：LoRa关键参数（扩频因子，编码率，带宽）的设定及解释
• LoRa学习：信道占用检测原理（CAD）
• LoRa/FSK 无线频谱波形分析（频谱分析仪测试LoRa/FSK带宽、功率、频率误差等）

网络安全系列：

• ATECC508A芯片开发笔记（一）：初识加密芯片
• SHA/HMAC/AES-CBC/CTR 算法执行效率及RAM消耗 测试结果
• 常见加密/签名/哈希算法性能比较 (多平台 AES/DES, DH, ECDSA, RSA等)
• AES加解密效率测试（纯软件AES128/256）–以嵌入式Cortex-M0与M3 平台为例

嵌入式开发系列：

• 嵌入式学习中较好的练手项目和课题整理（附代码资料、学习视频和嵌入式学习规划）
• IAR调试使用技巧汇总：数据断点、CallStack、设置堆栈、查看栈使用和栈深度、Memory、Set Next Statement等
• Linux内核编译配置（Menuconfig）、制作文件系统 详细步骤
• Android底层调用C代码（JNI实现）
• 树莓派到手第一步：上电启动、安装中文字体、虚拟键盘、开启SSH等
• Android/Linux设备有线&无线 双网共存（同时上内、外网）

AI / 机器学习系列：

• AI: 机器学习必须懂的几个术语：Lable、Feature、Model…
• AI：卷积神经网络CNN 解决过拟合的方法 （Overcome Overfitting）
• AI: 什么是机器学习的数据清洗（Data Cleaning）
• AI: 机器学习的模型是如何训练的？（在试错中学习）
• 数据可视化：TensorboardX安装及使用（安装测试+实例演示）

---