用opencv的dnn模块调onnx模型文件

1.onnx（Open Neural Network Exchange）是一种针对机器学习所设计的开放式的文件格式，用于存储训练好的模型。

用于在各种深度学习训练和推理框架转换的一个中间表示格式。

它衡誉定义了一组和环境，平台均无关的标准格式，来增强各种AI模型的可交互性，开放性较强。

2.在对推理速度要求不高的情况下，使用opencv自带的dnn模块可快速部署应用和解决方案，

且能做到轻量化部署，减少对第三方平台的依赖。

它包含两个预处理函数（blobFromImage、blobFromImages），为通过预训练深度学习模型进行分类，做好准备。

这两个函数执行减均值、缩放和通道交换（可选），但是并不是所历拦瞎有的深度学习架构执行减均值和缩放，

在预处理你的图像之前，一定要读你所使用网络的相关文献。

cv2.dnn.blobFromImage函数返回的blob是我们输入图像进行随意从中心裁剪，减均值、缩放和通道交换的结果。

cv2.dnn.blobFromImages和cv2.dnn.blobFromImage不同在于，前者接受多张图像，后者接受一张图像。

多张图像使用cv2.dnn.blobFromImages有更少的函数调用开肢空销，能够更快批处理图像或帧。

在Opencv中人脸识别是基于Haar特征+Adaboost级亏野联分类器来实现人脸识别的!

要理解这节内容,我们首先要明白什么是特征?

特征其实就是某个区域的像素点经过运算之后得到的结果! 例如haar特征其实就是用下图列出的模板在图像中滑动,计算白色区域覆盖的像素之和减去黑色区域覆盖的像素之和,运算出来的结果就是haar特征值!

Haar特征一般和Adaboost分类器结合在一起进行目标识别!

这里需要运动机器学习的知识! 不过值得庆幸的是Opencv已经为我们训练好了数据,并且已经提取出了人脸的特征,在opencv的源码中有相销纤喊应的xml特征文件. 并且我们只需要调用opencv提供好的API即可快速完成人脸识别的功能!

核心api为:

实现步骤:

HSV(Hue, Saturation, Value)是根据颜色的直观特性由A. R. Smith在1978年创建的一种颜色空间, 也称六角锥体模型(Hexcone Model)。

这个模型中颜色的参数分别是：色调（H），饱和度（S），明度（V）

用角度度量，取值范围为0°～360°，从红色开始按逆时针方向计算，红色为0°，绿色为120°,蓝色为240°。它们的补色是：黄色为60°，青色为180°,品红为300°；

饱和度S表示颜色接近光竖好谱色的程度。一种颜色，可以看成是某种光谱色与白色混合的结果。其中光谱色所占的比例愈大，颜色接近光谱色的程度就愈高，颜色的饱和度也就愈高。饱和度高，颜色则深而艳。光谱色的白光成分为0，饱和度达到最高。通常取值范围为0%～100%，值越大，颜色越饱和。

明度表示颜色明亮的程度，对于光源色，明度值与发光体的光亮度有关；对于物体色，此值和物体的透射比或反射比有关。通常取值范围为0%（黑）到100%（白）。

结论:

注意: 在opencv中,H、S、V值范围分别是[0,180]，[0,255]，[0,255]，而非[0,360]，[0,1]，[0,1]；

这里我们列出部分hsv空间的颜色值, 表中将部分紫色归为红色

[图片上传失败...(image-4f70f7-1563843266225)]

.jpg)

注意,这仅仅只能做一个比较粗糙的判定,按照我们人的正常思维,在傍晚临界点我们也无法判定当前是属于晚上还是白天!

在一张图片中,如果某个物体的颜色为纯色,那么我们就可以使用颜色过滤inRange的方式很方便的来提取这个物体.

下面我们有一张网球的图片,并且网球的颜色为一定范围内的绿色,在这张图片中我们找不到其它颜色也为绿色的图片,所以我们可以考虑使用绿色来提取它!

图片的颜色空间默认为BGR颜色空间,如果我们想找到提取纯绿色的话,我们可能需要写(0,255,0)这样的内容,假设我们想表示一定范围的绿色就会很麻烦!

所以我们考虑将它转成HSV颜色空间,绿色的色调H的范围我们很容易知道,剩下的就是框定颜色的饱和度H和亮度V就可以啦!

实现步骤:

图像二值化（ Image Binarization）就是将图像上的像素点的灰度值设置为0 或 255，也就是将整个图像呈现出明显的黑白效果的过程。

在数字图像处理中，二值图像占有非常重要的地位，图像的二值化使图像中数据量大为减少，从而能凸显出目标的轮廓。

[图片上传失败...(image-a31052-1563843266226)]

我们使用一个全局值作为阈值。但是在所有情况下这可能都不太好，例如，如果图像在不同区域具有不同的照明条件。在这种情况下，自适应阈值阈值可以帮助。这里，算法基于其周围的小区域确定像素的阈值。因此，我们为同一图像的不同区域获得不同的阈值，这为具有不同照明的图像提供了更好的结果。

除上述参数外，方法cv.adaptiveThreshold还有三个输入参数：

该 adaptiveMethod 决定阈值是如何计算的：

该 BLOCKSIZE 确定附近区域的大小和 Ç 是从平均值或附近的像素的加权和中减去一个常数。

采用日本人大津提出的算法,又称作最大类间方差法,被认为是图像分割中阈值选取的最佳算法,采用这种算法的好处是执行效率高!

<img src="./img2/otsu.jpg" width="500" />

如果我们把图像看作信号，那么噪声就是干扰信号。我们在采集图像时可能因为各种各样的干扰而引入图像噪声。在计算机中,图像就是一个矩阵, 给原始图像增加噪声, 我们只需要让像素点加上一定灰度即可.

f(x, y) = I(x, y) + noise

常见的噪声有椒盐噪声（salt and pepper noise），为什么叫椒盐噪声？因为图像的像素点由于噪声影响随机变成了黑点（dark spot）或白点（white spot）。这里的“椒”不是我们常见的红辣椒或青辣椒，而是外国的“胡椒”（香料的一种）。我们知道，胡椒是黑色的，盐是白色的，所以才取了这么个形象的名字.

接下来我们来生成10%的椒噪声和盐噪声:

我们还要注意，opencv的图像矩阵类型是uint8，低于0和高于255的值并不截断，而是使用了模 *** 作。即200+60=260 % 256 = 4。所以我们需要先将原始图像矩阵和噪声图像矩阵都转成浮点数类型进行相加 *** 作，然后再转回来。

首先，需要说明的是，OpenCV自带的haar training提取的特征是haar特征 分类器是AdaBoost级联分类器（如需了解Adaboost算法， 。所谓的级联分类器，就是将若干的简单的分量分类器（可以理解为一般的普通分类器）依次串联起来，最终的检测分类结果，要依次通过所有的分量分类器才能算是一个有效的检测分类结果。否则，就认为当前检测区域内没有我们需要找的目标。

利用OpenCV自带的haar training程序训练一个分类器，需要经过以下几个步骤：

（1）收集训练样本：

训练样本包括正样本和负样本。正样本，通俗点说，就是图片中只有你需要的目标。而负样本的图片只要其中不含有目标就可以了。但需要说明的是，负样本也并非随便选取的。例如，你需要检测的目标是汽车，那么正样本就应该是仅仅含有汽车的图片，而负样本显然不能是一些包含天空的，海洋的，风景的图片。因为你最终训练分类器的目的是检测汽车，而汽车应该出现在马路上。也就是说，分类器最终检测的图片应该是那些包含马路，交通标志，建筑物，广告牌，汽车，摩托车，三轮车，行人，自行车等在内的图片。很明显，这里的负样本应该是包含摩托车、三轮车、自行车、行人、路面、灌木丛、花草、交通标志、广告牌等。

另外，需要提醒的是，adaboost方法也是机器学习中的一个经典算法，而机器学习算法的前提条件是，测试样本和训练样本独立同分布。所谓的独立同分布，可以简单理解为：训练样本要和最终的应用场合非常接近或者一致。否则，基于机器学习的算法并不能保证算法的有效性。此外，足够的训练样本（至少得几千张正样本、几千张负样本）也是保证训练算法有效性的一个前提条件。

这里，假设所有的正样本都放在f:/pos文件夹下，所有的负样本都放在f:/neg文件夹下；

（2）对所有的正样本进行尺寸归一化：

上一步收集到的正样本，有很多的尺寸大小，有的是200*300，有的是500*800...尺寸归一化的目的，就是把所有的图片都缩放到同一大小。比如，都缩放到50*60的大小。

（3）生成正样本描述文件：

所谓的正样本描述文件，其实就是一个文本文件，只不过，很多人喜欢将这个文件的后缀改成.dat而已。正样本描述文件中的内容包括：文件名 目标个数 目标在图片中的位置（x,y,width,height）

典型的正样本描述文件如下所示：

0.jpg 1 0 0 30 40

1.jpg 1 0 0 30 40

2.jpg 1 0 0 30 40

.....

不难发现，正样本描述文件中，每一个正样本占一行，每一行以正样本图片开头，后面紧跟着该图片中正样本的数量（通常为1），以及正样本在图片中的位置

假如，f:\pos文件夹下有5000个正样本图片，每个图片中仅有一个目标。那么，我们可以写程序（遍历文件夹中的所有图片文件，将文件名写入到文件中，将正样本在图片中的位置，大小都写入文件中）生成一个pos.dat文件作为正样本描述文件。

（4）创建正样本vec文件

由于haarTraining训练的时候需要输入的正样本是vec文件，所以需要使用createsamples程序来将正样本转换为vec文件。

打开OpenCV安装目录下bin文件夹里面的名为createSamples（新版本的OpenCV里面改名为opencv_createSamples）的可执行程序。需要提醒的是，该程序应该通过命令行启动（可以参考我的另一篇博客：http://blog.csdn.net/carson2005/article/details/6704589 ）。并设置正样本所在的路径以及生成的正样本文件保存路劲（例如：f:\pos\pos.vec）。

Createsamples程序的命令行参数：

命令行参数：

－vec <vec_file_name>

训练好的正样本的输出文件名。

－img<image_file_name>

源目标图片（例如：一个公司图标）

－bg<background_file_name>

背景描述文件。

－num<number_of_samples>

要产生的正样本的数量，和正样本图片数目相同。

－bgcolor<background_color>

背景色（假定当前图片为灰度图）。背景色制定了透明色。对于压缩图片，颜色方差量由bgthresh参数来指定。则在bgcolor－bgthresh和bgcolor＋bgthresh中间的像素被认为是透明的。

－bgthresh<background_color_threshold>

－inv

如果指定，颜色会反色

－randinv

如果指定，颜色会任意反色

－maxidev<max_intensity_deviation>

背景色最大的偏离度。

－maxangel<max_x_rotation_angle>

－maxangle<max_y_rotation_angle>，

－maxzangle<max_x_rotation_angle>

最大旋转角度，以弧度为单位。

－show

如果指定，每个样本会被显示出来，按下"esc"会关闭这一开关，即不显示样本图片，而创建过程继续。这是个有用的debug选项。

－w<sample_width>

输出样本的宽度（以像素为单位）

－h《sample_height》

输出样本的高度，以像素为单位。

（5） 创建负样本描述文件

在保存负样本的文件夹下生成一个负样本描述文件，具体步骤同（3），此处不再赘叙；

（6）进行样本训练

该步骤通过调用OpenCV\bin目录下的haartraining程序(新版本的opencv改名为opencv_haartraining)来完成。其中，Haartraining的命令行参数为：

－data<dir_name>

存放训练好的分类器的路径名。

－vec<vec_file_name>

正样本文件名（由trainingssamples程序或者由其他的方法创建的）

－bg<background_file_name>

背景描述文件。

－npos<number_of_positive_samples>，

－nneg<number_of_negative_samples>

用来训练每一个分类器阶段的正/负样本。合理的值是：nPos = 7000nNeg = 3000

－nstages<number_of_stages>

训练的级联分类器层数。

－nsplits<number_of_splits>

决定用于阶段分类器的弱分类器。如果1，则一个简单的stump classifier被使用。如果是2或者更多，则带有number_of_splits个内部节点的CART分类器被使用。

－mem<memory_in_MB>

预先计算的以MB为单位的可用内存。内存越大则训练的速度越快。

－sym（default）

－nonsym

指定训练的目标对象是否垂直对称。垂直对称提高目标的训练速度。例如，正面部是垂直对称的。

－minhitrate《min_hit_rate》

每个阶段分类器需要的最小的命中率。总的命中率为min_hit_rate的number_of_stages次方。

－maxfalsealarm<max_false_alarm_rate>

没有阶段分类器的最大错误报警率。总的错误警告率为max_false_alarm_rate的number_of_stages次方。

－weighttrimming<weight_trimming>

指定是否使用权修正和使用多大的权修正。一个基本的选择是0.9

－eqw

－mode<basic(default)|core|all>

选择用来训练的haar特征集的种类。basic仅仅使用垂直特征。all使用垂直和45度角旋转特征。

－w《sample_width》

－h《sample_height》

训练样本的尺寸，（以像素为单位）。必须和训练样本创建的尺寸相同。

一个训练分类器的例子：

"D:\Program Files\OpenCV\bin\haartraining.exe" -data data\cascade -vec data\pos.vec -bg negdata\negdata.dat -npos 49 -nneg 49 -mem 200 -mode ALL -w 20 -h 20

训练结束后，会在目录data下生成一些子目录，即为训练好的分类器。

（7） 生成xml文件

上一步在进行haartraining的时候，会在data目录下生成一些目录及txt文件，我们需要调用opencv\bin\haarconv.exe将这些txt文件转换为xml文件，也就是所谓的分类器。

至此，分类器的训练工作已完成。剩下的，就是在程序中加载xml文件，并调用相应的函数接口来实现分类检测的作用了。

---