麻烦好心人帮下个文档 地址 http:wenku.baidu.comview9c845cc158f5f61fb7366670.html

中北大学2012届毕业论文

第1页 共47页

1 引言

1 课题的提出以及研究意义

使计算器具有人类的感知的能力，能够识图认字，能听话和说话，能与人们自然的进行信息交互，是人们长期以来的梦想。经过二十余年的奋斗，这些梦想已逐渐部分成真。赋予计算机识图认字的智能，能够解脱人们将汉字输入计算机的繁重劳动，克服计算机汉语信息的汉字输入困难的问题，对我国信息化发展更具有特殊重要的价值。随着计算机技术、通信技术、多媒体技术以及Internet的迅速发展，人们越来越深刻地感受到了计算机处理事情的便捷。提取并识别图像中的文字，在图像数据库的组织与管理、视频索引、公交、交通、旅游、摄影等方面将有着极其广泛的应用。随着电力系统的规模增大，电力设备也越来越多，且设备分布具有跨地域性的特点，因此怎样管理维护这些设备，并可随时查看这些设备的信息成为一个急需解决的问题。

图像中往往包含着丰富的文字信息，若能将图像中的文字进行自动检测、分割、提取和识别，则对图像高层语义内容的自动理解、索引和检索非常有价值。因此，90年代，随着多媒体技术的发展以及对基于内容的多媒体检索的需求，图像中的文字获取又逐渐成为研究热点之一。电力设备标牌图像中的文字获取对图像识别、检索有重要意义。从电力设备标牌图像中提取文字需要首先定位包含文字的图像区域，由于电力设备标牌中的文字在字体、大小、对齐方式和排列上变化多端，文字背景复杂，而许多应用场合还要求算法具有一定处理速度，这些都使得从其图像中有效地提取文字变得困难，对其深入研究很有意义。电力设备标牌图像中有丰富的文字信息，对图像中的文字信息的提取将是图像处理方面研究的一个重要方向。在电力系统中，电力设备种类繁多，通过对设备图像的采集，识别出电力设备标牌的文字信息，建立设备信息图文库，对电力设备的年检、统计等工作更加便捷、高效，对提高电力系统的设备管理水平非常重要。在电力管理上的技术需求越来越引起人们的关注和期待，而在此方向的技术研究目前还是一个空白点，因此，研究设备中的字符识别技术具有广泛的实际应用价值和重要的学术意义。 2 相关技术研究现状

中北大学2012届毕业论文

第2页 共47页

目前电力设备标牌识别的研究还是一个空白点。其相关技术包括车牌识别技术和对图像中的文字识别技术[1]。电气标牌字符的识别研究还很滞后，目前仍没有相对成熟的系统。随着电力系统的规模增大，电力设备也越来越多，怎样管理维护这些设备，是我们现在需要努力研究并有待应用的一门技术。

当前，图像作为一种重要的可视化信息媒体，已被应用到几乎所有的科学技术领域和日常生活的各个方面。随着图像信息的快速增长，从海量的图像资源中快速高效地提取并识别信息已成为人们迫切的需求。因此，20世纪90年代，基于内容的图像检索（CBIR）[2]

技术应运而生，从可视化角度开辟了一条更为直观 、准确的途径，并很快成为智能信息处理领域的研究热点。

如今牌照定位是从一张中找到标牌的位置，将包括牌照的子图像从这张中切割出来。主要有边缘特征法[3]、神经网络法[4,5]、基于灰度的检测方法、基于数学形态学法、基于颜色的分割方法、基于区域特征的方法、小波变换的方法等。

文字识别技术已经广泛应用到了各个领域中，它作为计算机智能接口的重要组成部分，在信息处理领域中可以大大提高计算机的使用效率。字符识别的对象是汉字、字母和数字。我国牌照的独有的特点是包括汉字的识别。汉字因为其结构复杂，使得识别过程有别于数字和字母。目前主要的字符识别方法有：模板匹配法、统计特征字符识别法、结构特征字符识别法、人工神经网络法。模板匹配对噪声比较敏感，并对字符的字体变化具有不适应的特点。基于统计特征的字符识别法对于形近字符区分能力弱，而且需要寻找特征，特征有时随图像变化而失效。结构特征的描述和比较要占用大量的存储和计算资源，因此算法在实现上相对复杂、识别速度慢。神经网络法也存在找寻特征和计算量大的问题。光学字符识别（OCR）技术是计算机自动、高速地辨别纸上的文字，并将其转化为可编辑的文本的一项实用技术。它是新一代计算器智能接口的一个重要组成部分，也是模式识别领域的一个重要分支。因此，在电力标牌的字符识别中，OCR技术也得到了广泛的应用，是其进行识别不可或缺的技术力量。Lienhart等[6,7]先后开发出两个视频中的文字检测、分割和识别系统。这两个系统都是利用文字的单色性相对于背景的高对比度和视频字幕的简单纹理来进行图像分割。

近几年，国内学者也开始关注并积极投身到电力设备标牌的字符检测领域来，但

中北大学2012届毕业论文

第3页 共47页

是都仅限于在进行基于内容的多媒体检索的研究时，附带地介绍了图像和视频中的文字获取，并没有进行系统深入的研究，也没有开发出相应可行的系统。如何识别图像中的文字仍然是一个有待研究解决的问题。 3 本课题主要内容

电力设备标牌字符识别涉及到的技术和车牌识别技术有些相似处，车牌识别技术已经较为成熟，但是，电力设备标牌识别与之有很多不同之处。主要包括：

(1)图像的预处理技术。标牌中有很多钢印信息，通过二值化[8,9]提取标牌特征时，需要完整的提取其特征量。而车牌上的信息在提取时不存在上述问题。

(2)电力设备标牌中的信息识别技术。标牌中的字符很多，尤其是所涉及的汉字比较丰富，而车牌中字符构成比较简单。

本文对电力系统中设备标牌中的字符识别技术进行了研究，对设备标牌中的字符识别系统的每一个模块进行了研究及实现。电力设备在识别前首先需要对图像进行预处理，以更好的提取标牌中的信息。其次，分割图像。最后进行标牌上的字符识别。因此，本课题主要研究内容为：

（一）电力设备标牌的图像预处理方法的研究。采集到的设备不可避免的会受到噪声的污染，需要对设备进行处理以及修正，突出中的标牌信息，增强图像，以便更好的进行字符识别。

（二）分析电力设备标牌特点，结合设备标牌特点研究适合标牌图像的二值化方法。

（三）研究边缘检测算子并对图像进行边缘检测处理，分析实验结果，并进行图像的分割。

（四）应用光学字符识别（OCR）[12,13,14,15]技术和字符识别技术进行电力设备标牌的识别[16,17,18,19]。

在拟采用的研究手段上分别从设备图像预处理、标牌的二值化算法以及标牌图像的分割和字符的识别四个方面进行阐述：

1)进行图像的滤波处理、经灰度直方图灰度修正以及灰度图像对比处理把我们感兴趣的部分突出出来。

2)为了进行有效的识别，采用阈值法进行标牌图像的二值化。通过对其标牌二值化，提取标牌图像中的钢印信息。

中北大学2012届毕业论文

第4页 共47页

3）进行标牌图像的边缘检测和分割。

4）采用基于光学字符识别（OCR）的技术以及MATLAB软件算法完成对标牌字符的识别。

中北大学2012届毕业论文

第5页 共47页

2 电力设备标牌图像预处理

电力设备标牌图像由于背景的灰度值介于标头字符的灰度值和钢印灰度值之间，所以用单一的一个阈值无法将标头字符和钢印同时提取出来。为了进行有效的识别，首先需要对数字图像进行处理。

二维物理图像被栅格划分成小的区域，这些小的区域称为数据元素

（Picture Element），简称像素。对每个像素进行采样和量化，得到相应的整数值。这个值代表像素的明暗程度和颜色深浅等信息。

每个引入噪声。图像可以分为二值图像、灰度图像、彩色图像。灰度图像只含亮度信息，不含彩色信息。灰度值用8位（Bit）表示，从0到255，一共256级，从黑（0）到白（255）。二值图像就只有代表黑白两色的两个灰度值，归一化后灰度值是黑（0）到白（1）。彩色图像每个像素值都有三个分量，分别表示红色（R），绿色（G）和蓝色（B）。每个分量又按各分量的灰度分为0到255共256级。根据RGB的不同组合就可以表示256 ×256×256种颜色，也就是常说的24位真彩色。 21 图像的读取 clear; close all;

I=imread('baejpg');

imshow(I);（结果见图2（a）） 22 去噪

在图像形成、传输或变换的过程中,由于受到其它客观因素诸如系统噪声、曝光不足或过量、相对运动等影响,获取图像往往会与原始图像之间产生某种差异(称为降质或退化)。退化后的图像通常模糊不清或者经过机器提取的信息量减少甚至错误,因此必须对其采取一些手段进行改善。图像增强技术正是在此意义上提出的,目的就是为了改善图像的质量。图像增强根据图像的模糊情况采用各种特殊的技术突出图像中的某些信息,削弱或消除无关信息,达到强调图像的整体或局部特征的目的。图像增强尚没有统一的理论方法。

利用巴特沃斯（Butterworth）低通滤波器对受噪声干扰的图像进行平滑处理:

百度识图的核心技术原理:

对于这种百度，谷歌的图像搜索一般由算法实现，一般是三个步骤：

1 将目标进行特征提取，描述图像的算法很多，用的比较多的是：SIFT描述子，指纹算法函数，bundling features算法，hash function(散列函数)等。也可以根据不同的图像，设计不同的算法，比如图像局部N阶矩的方法提取图像特征。

2 将图像特征信息进行编码，并将海量图像编码做查找表。对于目标图像，可以对分辨率较大的图像进行降采样，减少运算量后在进行图像特征提取和编码处理。

3 相似度匹配运算：利用目标图像的编码值，在图像搜索引擎中的图像数据库进行全局或是局部的相似度计算;根据所需要的鲁棒性，设定阈值，然后将相似度高的预保留下来;最后应该还有一步筛选最佳匹配，这个应该还是用到特征检测算法。

其中每个步骤都有很多算法研究，围绕数学，统计学，图像编码，信号处理等理论进行研究。

文 | 翟周伟

本文节选自《Hadoop核心技术》一书。

Hadoop是一个开源的高效云计算基础架构平台，其不仅仅在云计算领域用途广泛，还可以支撑搜索引擎服务，作为搜索引擎底层的基础架构系统，同时在海量数据处理、数据挖掘、机器学习、科学计算等领域都越来越受到青睐。本文将讲述国内外的hadoop应用现状。

国外Hadoop的应用现状

1Yahoo

Yahoo是Hadoop的最大支持者，截至2012年，Yahoo的Hadoop机器总节点数目超过42000个，有超过10万的核心CPU在运行Hadoop。最大的一个单Master节点集群有4500个节点(每个节点双路4核心CPUboxesw，4×1TB磁盘，16GBRAM)。总的集群存储容量大于350PB，每月提交的作业数目超过1000万个，在Pig中超过60%的Hadoop作业是使用Pig编写提交的。

Yahoo的Hadoop应用主要包括以下几个方面：

支持广告系统

用户行为分析

支持Web搜索

反垃圾邮件系统

会员反滥用

内容敏捷

个性化推荐

同时Pig研究并测试支持超大规模节点集群的Hadoop系统。

2Facebook

Facebook使用Hadoop存储内部日志与多维数据，并以此作为报告、分析和机器学习的数据源。目前Hadoop集群的机器节点超过1400台，共计11200个核心CPU，超过15PB原始存储容量，每个商用机器节点配置了8核CPU，12TB数据存储，主要使用StreamingAPI和JavaAPI编程接口。Facebook同时在Hadoop基础上建立了一个名为Hive的高级数据仓库框架，Hive已经正式成为基于Hadoop的Apache一级项目。此外，还开发了HDFS上的FUSE实现。

3A9com

A9com为Amazon使用Hadoop构建了商品搜索索引，主要使用StreamingAPI以及C++、Perl和Python工具，同时使用Java和StreamingAPI分析处理每日数以百万计的会话。A9com为Amazon构建的索引服务运行在100节点左右的Hadoop集群上。

4Adobe

Adobe主要使用Hadoop及HBase，同于支撑社会服务计算，以及结构化的数据存储和处理。大约有超过30个节点的Hadoop-HBase生产集群。Adobe将数据直接持续地存储在HBase中，并以HBase作为数据源运行MapReduce作业处理，然后将其运行结果直接存到HBase或外部系统。Adobe在2008年10月就已经将Hadoop和HBase应用于生产集群。

5CbIR

自2008年4月以来，日本的CbIR(Content-basedInformationRetrieval)公司在AmazonEC2上使用Hadoop来构建图像处理环境，用于图像产品推荐系统。使用Hadoop环境生成源数据库，便于Web应用对其快速访问，同时使用Hadoop分析用户行为的相似性。

6Datagraph

Datagraph主要使用Hadoop批量处理大量的RDF数据集，尤其是利用Hadoop对RDF数据建立索引。Datagraph也使用Hadoop为客户执行长时间运行的离线SPARQL查询。Datagraph是使用AmazonS3和Cassandra存储RDF数据输入和输出文件的，并已经开发了一个基于MapReduce处理RDF数据的Ruby框架——RDFgrid。

Datagraph主要使用Ruby、RDFrb以及自己开发的RDFgrid框架来处理RDF数据，主要使用HadoopStreaming接口。

7EBay

单集群超过532节点集群，单节点8核心CPU，容量超过53PB存储。大量使用的MapReduce的Java接口、Pig、Hive来处理大规模的数据，还使用HBase进行搜索优化和研究。

8IBM

IBM蓝云也利用Hadoop来构建云基础设施。IBM蓝云使用的技术包括：Xen和PowerVM虚拟化的Linux *** 作系统映像及Hadoop并行工作量调度，并发布了自己的Hadoop发行版及大数据解决方案。

9LastFm

LastFm主要用于图表计算、专利申报、日志分析、A/B测试、数据集合并等，也使用Hadoop对超过百万的曲目进行大规模的音频特征分析。

节点超过100台机器，集群节点配置双四核XeonL5520@227GHzL5630@213GHz，24GB内存，8TB(4×2TB)存储。

10LinkedIn

LinkedIn有多种硬件配置的Hadoop集群，主要集群配置如下：

800节点集群，基于Westmere的惠普SL170X与2×4的核心，24GB内存，6×2TBSATA。

1900节点集群，基于Westmere的超微-HX8DTT，与2×6的核心，24GB内存，6×2TBSATA。

1400节点集群，基于SandyBridge超微与2×6的核心，32GB内存，6×2TBSATA。

使用的软件如下：

*** 作系统使用RHEL63。

JDK使用SUNJDK160_32。

Apache的Hadoop0202的补丁和ApacheHadoop的104补丁。

Azkaban和Azkaban用于作业调度。

Hive、Avro、Kafka等。

11MobileAnalyticTV

主要使用Hadoop应用在并行化算法领域，涉及的MapReduce应用算法如下。

信息检索和分析。

机器生成的内容——文档、文本、音频、视频。

自然语言处理。

项目组合包括：

移动社交网络。

网络爬虫。

文本到语音转化。

音频和视频自动生成。

12Openstat

主要利用Hadoop定制一个网络日志分析并生成报告，其生产环境下超过50个节点集群(双路四核Xeon处理器，16GB的RAM，4～6硬盘驱动器)，还有两个相对小的集群用于个性化分析，每天处理约500万的事件，每月15亿美元的交易数据，集群每天产生大约25GB的报告。

使用的技术主要包括：CDH、Cascading、Janino。

13Quantcast

3000个CPU核心，3500TB存储，每日处理1PB以上的数据，使用完全自定义的数据路径和排序器的Hadoop调度器，对KFS文件系统有突出贡献。

14Rapleaf

超过80个节点的集群(每个节点有2个双核CPU，2TB×8存储，16GBRAM内存);主要使用Hadoop、Hive处理Web上关联到个人的数据，并引入Cascading简化数据流穿过各种处理阶段。

15WorldLingo

硬件上超过44台服务器(每台有2个双核CPU，2TB存储，8GB内存)，每台服务器均运行Xen，启动一个虚拟机实例运行Hadoop/HBase，再启动一个虚拟机实例运行Web或应用程序服务器，即有88台可用的虚拟机;运行两套独立的Hadoop/HBase机群，它们各自拥有22个节点。Hadoop主要用于运行HBase和MapReduce作业，扫描HBase的数据表，执行特定的任务。HBase作为一种可扩展的、快速的存储后端，用于保存数以百万的文档。目前存储了1200万篇文档，近期的目标是存储45亿篇文档。

16格拉斯哥大学的TerrierTeam

超过30个节点的实验集群(每节点配置XeonQuadCore24GHz，4GB内存，1TB存储)。使用Hadoop促进信息检索研究和试验，特别是用于TREC，用于TerrierIR平台。Terrier的开源发行版中包含了基于HadoopMapReduce的大规模分布式索引。

17内布拉斯加大学的HollandComputingCenter

运行一个中等规模的Hadoop机群(共计16PB存储)用于存储和提供物理数据，以支持紧凑型μ子螺旋型磁谱仪(CompactMuonSolenoid，CMS)实验的计算。这需要一类能够以几Gbps的速度下载数据，并以更高的速度处理数据的文件系统的支持。

18VisibleMeasures

将Hadoop作为可扩展数据流水线的一个组件，最终用于VisibleSuite等产品。使用Hadoop汇总、存储和分析与网络视频观众收看行为相关的数据流。目前的网格包括超过128个CPU核心，超过100TB的存储，并计划大幅扩容。

国内Hadoop的应用现状

Hadoop在国内的应用主要以互联网公司为主，下面主要介绍大规模使用Hadoop或研究Hadoop的公司。

1百度

百度在2006年就开始关注Hadoop并开始调研和使用，在2012年其总的集群规模达到近十个，单集群超过2800台机器节点，Hadoop机器总数有上万台机器，总的存储容量超过100PB，已经使用的超过74PB，每天提交的作业数目有数千个之多，每天的输入数据量已经超过7500TB，输出超过1700TB。

百度的Hadoop集群为整个公司的数据团队、大搜索团队、社区产品团队、广告团队，以及LBS团体提供统一的计算和存储服务，主要应用包括：

数据挖掘与分析。

日志分析平台。

数据仓库系统。

推荐引擎系统。

用户行为分析系统。

同时百度在Hadoop的基础上还开发了自己的日志分析平台、数据仓库系统，以及统一的C++编程接口，并对Hadoop进行深度改造，开发了HadoopC++扩展HCE系统。

2阿里巴巴

阿里巴巴的Hadoop集群截至2012年大约有3200台服务器，大约30000物理CPU核心，总内存100TB，总的存储容量超过60PB，每天的作业数目超过150000个，每天hivequery查询大于6000个，每天扫描数据量约为75PB，每天扫描文件数约为4亿，存储利用率大约为80%，CPU利用率平均为65%，峰值可以达到80%。阿里巴巴的Hadoop集群拥有150个用户组、4500个集群用户，为淘宝、天猫、一淘、聚划算、CBU、支付宝提供底层的基础计算和存储服务，主要应用包括：

数据平台系统。

搜索支撑。

广告系统。

数据魔方。

量子统计。

淘数据。

推荐引擎系统。

搜索排行榜。

为了便于开发，其还开发了WebIDE继承开发环境，使用的相关系统包括：Hive、Pig、Mahout、Hbase等。

3腾讯

腾讯也是使用Hadoop最早的中国互联网公司之一，截至2012年年底，腾讯的Hadoop集群机器总量超过5000台，最大单集群约为2000个节点，并利用Hadoop-Hive构建了自己的数据仓库系统TDW，同时还开发了自己的TDW-IDE基础开发环境。腾讯的Hadoop为腾讯各个产品线提供基础云计算和云存储服务，其支持以下产品：

腾讯社交广告平台。

搜搜(SOSO)。

拍拍网。

腾讯微博。

腾讯罗盘。

QQ会员。

腾讯游戏支撑。

QQ空间。

朋友网。

腾讯开放平台。

财付通。

手机QQ。

QQ音乐。

4奇虎360

奇虎360主要使用Hadoop-HBase作为其搜索引擎socom的底层网页存储架构系统，360搜索的网页可到千亿记录，数据量在PB级别。截至2012年年底，其HBase集群规模超过300节点，region个数大于10万个，使用的平台版本如下。

HBase版本：facebook089-fb。

HDFS版本：facebookHadoop-20。

奇虎360在Hadoop-HBase方面的工作主要为了优化减少HBase集群的启停时间，并优化减少RS异常退出后的恢复时间。

5华为

华为公司也是Hadoop主要做出贡献的公司之一，排在Google和Cisco的前面，华为对Hadoop的HA方案，以及HBase领域有深入研究，并已经向业界推出了自己的基于Hadoop的大数据解决方案。

6中国移动

中国移动于2010年5月正式推出大云BigCloud10，集群节点达到了1024。中国移动的大云基于Hadoop的MapReduce实现了分布式计算，并利用了HDFS来实现分布式存储，并开发了基于Hadoop的数据仓库系统HugeTable，并行数据挖掘工具集BC-PDM，以及并行数据抽取转化BC-ETL，对象存储系统BC-ONestd等系统，并开源了自己的BC-Hadoop版本。

中国移动主要在电信领域应用Hadoop，其规划的应用领域包括：

经分KPI集中运算。

经分系统ETL/DM。

结算系统。

信令系统。

云计算资源池系统。

物联网应用系统。

E-mail。

IDC服务等。

7盘古搜索

盘古搜索(目前已和即刻搜索合并为中国搜索)主要使用Hadoop集群作为搜索引擎的基础架构支撑系统，截至2013年年初，集群中机器数量总计超过380台，存储总量总计366PB，主要包括的应用如下。

网页存储。

网页解析。

建索引。

Pagerank计算。

日志统计分析。

推荐引擎等。

即刻搜索(人民搜索)

即刻搜索(目前已与盘古搜索合并为中国搜索)也使用Hadoop作为其搜索引擎的支撑系统，截至2013年，其Hadoop集群规模总计超过500台节点，配置为双路6核心CPU，48G内存，11×2T存储，集群总容量超过10PB，使用率在78%左右，每天处理读取的数据量约为500TB，峰值大于1P，平均约为300TB。

即刻搜索在搜索引擎中使用sstable格式存储网页并直接将sstable文件存储在HDFS上面，主要使用HadoopPipes编程接口进行后续处理，也使用Streaming接口处理数据，主要的应用包括：

网页存储。

解析。

建索引。

推荐引擎。

end

基于内容的图像检索，即CBIR(Content-based image retrieval)，是计算机视觉领域中关注大规模数字图像内容检索的研究分支。典型的CBIR系统，允许用户输入一张，以查找具有相同或相似内容的其他。而传统的图像检索是基于文本的，即通过的名称、文字信息和索引关系来实现查询功能。

这一概念于1992年由TKato提出的。他在论文中构建了一个基于色彩与形状的图像数据库，并提供了一定的检索功能进行实验。此后，基于图像特征提取以实现图像检索的过程以及CBIR这一概念，被广泛应用于各种研究领域，如统计学、模式识别、信号处理和计算机视觉。

基于内容的图像检索，即CBIR(Content-based image retrieval)，是计算机视觉领域中关注大规模数字图像内容检索的研究分支。典型的CBIR系统，允许用户输入一张，以查找具有相同或相似内容的其他。而传统的图像检索是基于文本的，即通过的名称、文字信息和索引关系来实现查询功能。

这一概念于1992年由TKato提出的。他在论文中构建了一个基于色彩与形状的图像数据库，并提供了一定的检索功能进行实验。此后，基于图像特征提取以实现图像检索的过程以及CBIR这一概念，被广泛应用于各种研究领域，如统计学、模式识别、信号处理和计算机视觉。

以上就是关于麻烦好心人帮下个文档 地址 http://wenku.baidu.com/view/9c845cc158f5f61fb7366670.html全部的内容，包括:麻烦好心人帮下个文档 地址 http://wenku.baidu.com/view/9c845cc158f5f61fb7366670.html、百度识图的核心技术是什么、国内外的Hadoop应用现状等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！