基于opencv的简单数字识别

由于自己学识尚浅，不能用python深度学习来识别这里的数字，所以就完全采用opencv来识别数字，然后在这里分享、记录一下自己在学习过程中的一些所见所得和所想

要解决的问题
这是一个要识别的数字，我这里首先是对图像进行一个ROI的提取，提取结果就仅仅剩下数字，把其他的一些无关紧要的要素排除在外，

这是ROI图片，我们要做的就是识别出该照片中的数字，
解决问题的思路
1、先把这个图片中的数字分割，分割成为5张小图片，每张图片包含一个数字，为啥要分割呢？因为我们没办法让计算机知道这个数字是多少，所以只能根据特征，让计算机去识别特征，然后每一个特征对应一个值，首先贴出分割图片的程序，然后在程序下方会有一段思路解释

#include 
#include 
#include 
#include 
#include 
#include 
#include 
using namespace std ;
using namespace cv;
#include 
Mat src_threshold;
Mat src_dil;
int sunImage(Mat &image);
vector<Mat>ROI_image;//待测图片
int main() 
{
	clock_t start ,finish;
	start=clock();
	Mat src;
	src=imread("D:\vspic\picture\number6.jpg");
	resize(src,src,Size(src.cols/7,src.rows/7));
	imshow("src",src);
	Mat src_gray;
	cvtColor(src,src_gray,COLOR_BGR2GRAY);
	//imshow("gsrc_ray",src_gray);
	Mat src_blur;
	blur(src_gray,src_blur,Size(9,9));
	//GaussianBlur(src_gray,src_blur,Size(11,11),1,1);
	Mat src_threshold;
	threshold(src_blur,src_threshold,150,255,THRESH_OTSU);
	//imshow("src_threshold",src_threshold);
	Mat src_canny;
	Canny(src_threshold,src_canny,125,255,3);
	//imshow("src_canny",src_canny);
	vector<vector<Point>>contours_src;
	vector<Vec4i>hierarchy_src(contours_src.size());
	findContours(src_canny,contours_src,hierarchy_src,RETR_EXTERNAL,CHAIN_APPROX_NONE);
	Rect rect_s;
	Rect choose_rect;
	for (size_t i=0;i<contours_src.size();i++)
	{
		rect_s=boundingRect(contours_src[i]);
		double width=rect_s.width;
		double height= rect_s.height;
		double bizhi=width/height;
		if (bizhi>1.5&&height>50)
		{
			/*rectangle(src,rect_s.tl(),rect_s.br(),Scalar(255,255,255),1,1,0);*/
			choose_rect=Rect(rect_s.x+20,rect_s.y+30,rect_s.x-30,rect_s.y-108);
		}
	}
	Mat roi;
	roi=src(choose_rect);
	//imshow("src_",roi);
	Mat img =roi;
	Mat gray_img;
	// 生成灰度图像
	cvtColor(img, gray_img, CV_BGR2GRAY);
	// 高斯模糊
	Mat img_gau;
	GaussianBlur(gray_img, img_gau, Size(3, 3), 0, 0);
	// 阈值分割
	Mat img_seg;
	threshold(img_gau, img_seg, 0, 255, THRESH_BINARY + THRESH_OTSU);
	Mat element;
	element=getStructuringElement(MORPH_RECT,Size(8,8));
	erode(img_seg,src_dil,element);
	//imshow("src_dil",src_dil);
	// 边缘检测，提取轮廓
	Mat img_canny;
	Canny(src_dil, img_canny, 200, 100);
	//imshow("canny",img_canny);
	vector<vector<Point>> contours;
	vector<Vec4i> hierarchy(contours.size());
	findContours(img_canny, contours, hierarchy, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_NONE, Point());//寻找轮廓
	int size = (int)(contours.size());//轮廓的数量
	//cout<
	// 保存符号边框的序号
	vector<int> num_order;//定义一个整型int容器
	map<int, int> num_map;//容器，需要关键字和模板对象两个模板参数，此处定义一个int作为索引，并拥有相关连的指向int的指针
	for (int i = 0; i < size; i++)
   {
		// 获取边框数据
		Rect number_rect = boundingRect(contours[i]);
		int width = number_rect.width;//获取矩形的宽
		int height = number_rect.height;//获取矩形的高
		// 去除较小的干扰边框，筛选出合适的区域
		if (width > img.cols/20 )
		{
			rectangle(img,number_rect.tl(),number_rect.br(),Scalar(255,255,255),1,1,0);//绘制矩形
			imshow("img",img);//显示矩形框
			num_order.push_back(number_rect.x);//把矩形的x坐标放入number_order容器中，将一个新的元素添加到vector的最后面，
			//位置为当前元素的下一个元素
			num_map[number_rect.x] = i;//向map中存入键值对，number_rect.x是关键字，i是值
			/*把矩形框的x坐标与对应的i值一起放入map容器中，形成一一对应的键值对
			*/
		}
	}
	// 按符号顺序提取
	sort(num_order.begin(), num_order.end());/*把number_order容器中的内容按照从小到大的顺序排列,这里面是X的坐标*/
	for (int i = 0; i < num_order.size(); i++) {
		Rect number_rect = boundingRect(contours[num_map.find(num_order[i])->second]);//num_order里面放的是坐标
		//cout<<"num_map的值是："<second<
		Rect choose_rect(number_rect.x, 0, number_rect.width, img.rows);//矩形左上角x,y的坐标以及矩形的宽和高
		Mat number_img = img(choose_rect);
		resize(number_img,number_img,Size(30,100));//归一化尺寸
		ROI_image.push_back(number_img);//保存为待测图片
		//imshow("number" + to_string(i), number_img);
		char name[50];
		sprintf_s(name,"D:\vs2012\model\%d.jpg",i);//保存模板
		imwrite(name, number_img);	
	}
	cout<<"图片分割完毕"<<endl;
	//加载模板
	vector<Mat>temptImage;//存放模板
	for (int i=0;i<4;i++)
	{
		char name[50];
		sprintf_s(name,"D:\vs2012\model\%d.jpg",i);
		Mat temp;
		temp=imread(name);
		//cout<<"加载模板图片通道数："<
		temptImage.push_back(temp);
	}
	vector<int>seq;//存放顺序结果
	for (int i=0;i<ROI_image.size();i++)
	{
		Mat subImage;
		int sum=0;
		int min=50000;
		int seq_min=0;//记录最小的和对应的数字
		for (int j=0;j<4;j++)
		{
			absdiff(ROI_image[i],temptImage[j],subImage);//待测图片像素减去模板图片像素
			sum=sunImage(subImage);//统计像素和
			if (sum<min)
			{
				min=sum;
			    seq_min=j;
			}
			sum=0;
		}
		seq.push_back(seq_min);
	}
	cout<<"输出数字匹配结果:";//endl是换行的意思
	for (int i=0;i<seq.size();i++)//输出结果，小数点固定在第3位
	{
		cout<<seq[i];
		if (i==1)
		{
			cout<<".";
		}
	}
	finish=clock();
	double all_time=double(finish-start)/CLOCKS_PER_SEC;
	/*cout<<"运行总时间是："<
	waitKey(0);
	return 0;
}
//计算像素和
int sunImage(Mat &image)
{
	int sum=0;
	for (int i=0;i<image.cols;i++)
	{
		for (int j=0;j<image.rows;j++)
		{
			sum+=image.at<uchar>(j,i);
		}
	}
	return sum;
}

整体思路是这样子的：0-9这10个数字也都是已经被分割好的，并且保存好了，也就是模板，然后我们把待测的图片也分割掉，然后从0-9模板文件夹中去读取模板图片，让待测的分割完毕的图片去和10个模板逐个相减，然后去统计他们相减后的像素和，如果这个在这10个中最低，那么他们就是同一个数字，然后输出值就可以了，分割后的大概是这样

上边是第一种方法，然后还有第二种，是穿针引线的方法，是根据晶体管数字特征来识别的

这是晶体管数字的特征，每个0-9每个数字都是不一样的，我们下一篇文章再做详细的介绍