何凯明在2015提出的卷积神经网络模型的里程碑的模型是

何凯明在2015提出的卷积神经网络模型的里程碑的模型是,第1张

何凯明在2015提出的卷积神经网络模型的里程碑的模型是ResNet。

卷积神经网络是由Yann LeCun在1989年提出的LeNet中首先被使用,但是由于当时的计算能力不够,并没有得到广泛的应用,到了1998年Yann LeCun及其合作者构建了更加完备的卷积神经网络LeNet-5并在手写数字的识别问题中取得成功,LeNet-5的成功使卷积神经网络的应用得到关注。

LeNet-5沿用了LeCun (1989) 的学习策略并在原有设计中加入了池化层对输入特征进行筛选 。LeNet-5基本上定义了现代卷积神经网络的基本结构,其构筑中交替出现的卷积层-池化层被认为有效提取了输入图像的平移不变特征,使得对于特征的提取前进了一大步,所以我们一般的认为,Yann LeCun是卷积神经网络的创始人。

卷积神经网络是近年发展起来的,并引起广泛重视的一种高效识别方法,20世纪60年代,Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性,继而提出了卷积神经网络(Convolutional Neural Networks-简称CNN)。

这里对找矿前景的遥感综合评价分两步进行,首先为全省范围的区域性评价,在此基础上对重点成矿区进行详细评价,具体工作流程见图1014。

图1014 找矿前景遥感评价工作流程

重点成矿区评价的遥感找矿信息较丰富,除线形体、环形体信息外,还有微地貌特征、岩石蚀变、植被异常及毒化信息等。不同地质环境、不同矿种、不同成因类型,其遥感找矿信息也不尽相同。在区域找矿遥感异常信息分析基础上,通过目视和机助解译,提取局部找矿遥感信息,综合地质、物探、化探信息和已知矿产分布情况,圈定有利找矿靶区,分析找矿有利部位。

10411 SPV-ANN/GIS人工神经网络方法

地质运动的复杂性、致矿因素的多样性、信息(数据)搜集的不完善性、人们认识的局限性,是矿产预测评价工作的难点所在。传统的矿产预测方法以及与此相关的数据处理都必须解决数据分析和建模问题。另一方面,由于矿产地质信息的不完善性、不确定性和非结构化的特点,又难于建立它们的数学模型。所以到目前为止,几乎所有的矿产预测评价系统都是在特定条件下的结果,往往难以向其他地区推广应用(李长江等,1999)。

成矿信息内部及它们之间关系的处理,一直是地质学家所关心的问题之一。随着数字信息时代的到来,信息的提取、处理的方法已成为日益重要的问题。传统的方法虽然也能解决部分问题,但大多数是就事论事,难以真正从问题本身所具有的复杂性去认识,因而所获得的结论往往不具代表性。混沌理论的研究揭示事物具有复杂性的同时也具有简单的一面,是一个很具有说服力的表征之一。

成矿系统各信息之间的关系,用各种目前现有的传统(常规)的方法去处理,显然与自然界中事事物物都具有的普遍联系性的哲学理论不相宜。事物间本身具有内在的普遍联系,而这种普遍联系是否只是传统(简单)的线性或某(种)些函数关系,就值得我们深思。

人的大脑思维具有极其的复杂性,现代的电子计算机也无法完全模拟人的大脑工作状态,尤其是抽象思维能力,更是无力解决。大脑的思维具有联想、记忆能力。人工神经网络(Atificial Neural Network),即ANN正是基于人脑的工作原理、模拟大脑的工作机理和处理各种信息之间关系的一种新兴技术。不同的ANN模式,其原理和方法有所不同,但都是基于人脑的工作机理而设计的。

ANN技术在模式识别领域的研究已相当广泛且已进入实用阶段,如语音识别等。在矿产地质方面,也有不少关于应用ANN的报道,如McCormack(1991)、蔡煜东等(1994)、刘玲等(1994)、李裕伟和李林松(1996)、吕新彪和赵鹏大(1998)等曾对BIN、SOM等型的神经网络在地球物理勘探、铁帽识别、油气判别、储量计算等方面的应用进行了研究。李裕伟和李林松(1996)认为ANN在矿产储量计算中是一种在传统距离倒数法和克里金法之外的又一种较好的插值方法。ANN技术为矿产预测工作的发展开辟了新的途径,ANN不需要人们将各种成矿因素之间的相互关系搞清楚,只要求人们从已知的矿床(点)的生成条件进行研究,提取有利于成矿的条件,进行学习,学习是自动进行的,内部是一个黑盒子,在数据处理时可以避免数据分析和建模中的困难。从这一点而论,使研究成矿的信息集中在输入端、输出端(已知的矿床(点)),这使成矿预测工作效率大大提高,人们只需集中精力着重研究有利成矿的因素(条件)就可以了,而且一旦ANN的矿产预测评价模型建立,往往具有较强的通用性,一般可以持续使用。此外,在根据已有资料分析成矿条件时,ANN可以自动模拟各种成矿因素之间的自然关系,进行全局优化搜索,减少人为干预,提高矿产预测的有效性。

不同的ANN模型有不同的应用领域,根据研究的方法和对象对ANN模型的选取也有所变化。表102列出了一些常用的ANN模型及其特性。

表102 ANN主要类型及特性

SPV-ANN/GIS是李长江等(1999)、麻土华和李长江(2000)将SPV型人工神经网络与地理信息系统(GIS)结合发展的一种矿产资源潜力评价方法(以下简称ANN法)。

SPV(SOM-Probality-Vector)型神经网络不同于反馈型神经网络,是一种与邻域法相似,但属于自组织系统与概率型及平行向量法结合的神经网络。神经网络各层之间的关系,有基于线性的,也有基于非线性的。SPV则是基于非线性的。SPV型神经网络模型的方法原理如下。

连接权的值为1或0。采用的权的表达式为

浙江省国土资源遥感调查与综合研究

这里的 , 所使用的ANN含有两个隐含层(隐含层B和C)。在隐含层B中神经元的个数等于输入变量个数乘以模型向量数即N×M,隐含层C的神经元个数等于2倍于模型向量数。为了便于叙述,下面假定只有一个输出变量。

●输入层A:神经元的值

浙江省国土资源遥感调查与综合研究

浙江省国土资源遥感调查与综合研究

10412 信息量法

信息量法(赵鹏大等,1983)也称信息和法(简称XXH法),是通过成矿有关标志变量的权重和单元内的找矿信息总和(成矿有利度)计算,来进行矿产预测的一种单变量统计分析法。该方法进行区域矿产预测的原理如下。

首先对研究区进行规则格网的划分,合理地确定标志变量,划分标志状态,并对每一格网的标志状态进行赋值。

然后计算有关标志变量的找矿信息量,选择与找矿有关的变量。

最后计算每个单元中各标志信息量的总和,反映该单元的成矿有利度,从而对评价区进行成矿预测。

信息量法进行成矿预测的前提是进行变量权重的计算,从而筛选出最优结构的变量组合。这一变量权重通常是对研究区含矿单元情况的人工统计,然后用条件概率公式计算得到,具体运算时用样本概率来进行估计

浙江省国土资源遥感调查与综合研究

式中:I是变量权重;Nj为具标志A状态J的含矿单元数;N是研究区含矿单元总数;sj是区内具标志A状态j的单元数;S为研究区单元总数。

I值的大小反映所计算的标志(A)状态(j)——即变量所提供的找矿信息量,I值越大,反映该标志状态下成矿的可能性越大。

通常使用的信息量计算法须对所有变量逐个单元进行人为赋值,工作量繁重,人为性较大,对含矿单元矿床值大小未予区分,影响计算结果的可信度。

这里使用的信息量法是在传统方法的基础上,在GIS平台上,对变量(遥感、地质信息)权重计算方法加以改进的结果。其预测原理与传统方法相同,具体计算步骤如图1015所示。

图1015 信息量法区域矿产遥感综合预测流程

首先,对遥感解译得到的找矿遥感信息和地质信息经判释后,初步选择与相应矿种成矿有关的信息作为标志变量,与已知矿产地数据一道进行赋值,并在地理信息系统上转为栅格型数据,形成统一投影的匹配数据集。在进行矿产地数据赋值时,不同规模的矿产地赋予不同的权值,以突出其间差异。

其次,选择已知矿产地质研究程度较高的地区作为训练区,筛选出训练区内相应矿种的矿产地数据和标志变量数据子集,对该子集进行主成分分析,得到各标志变量与矿产地数据间的相关性系数,作为其相对权重。这一方法免去了样本概率计算这一繁杂过程,减少了人为性,经反复试验,效果较稳定可靠。

最后,将训练区得到的变量权重推广到研究区(全省)范围,对各单元(网格)的遥感信息进行加权求和,即得到各单元的找矿遥感信息量(反映该单元找矿的相对有利度)。在地理信息系统中,对所有单元的遥感找矿信息量经伪彩色变换即得到遥感信息量分布图,用以成矿预测评价。

通过地理信息系统的使用,使得各找矿信息(变量)的权重计算和单元信息量计算均非常简便,免去了逐个单元人工统计信息的烦琐过程,比传统的统计预测法定位准确,计算速度快,流程简洁,且结果具有可视性(以信息量分布图形式表现)。

在全省3km×3km网格数据中,将ANN和XXH这两种方法计算的遥感信息量和已知矿床值分别进行最大值归一化,并将含矿网格(总数137)归一化的遥感信息量与矿床值(经归一化)求比值,得到不同比值区间的频数分布图(图1016)。利用此图对两种方法计算结果进行对比,可以发现SPV-ANN/GIS法计算结果信息较集中(主要频数分布在04~08之间),但大部分含矿网格预测结果较实际值系统偏低;XXH法计算信息较分散(分布曲线低缓),较理想分布线误差大,正偏和负偏均较明显,故总体预测效果偏差较大。另外从遥感信息量分布图中直接可看出,SPV-ANN/GIS法计算结果主要反映局部变化信息,可突出非变质岩区的遥感信息权重,变质岩区则可突出找矿有利地区,圈定找矿靶区,预测效果总体明显较好;而XXH法过于倚重权系数较大的信息,有利于反映区域成矿有利度,局部地区和已知矿产地、化探异常套合好,对非变质岩区的预测效果有所降低,对变质岩区成矿信息相对强弱的区分也不明显。将两种方法综合应用,对找矿有利地区的揭示更有价值。

图1016 遥感信息量计算效果对比图

横坐标吻合比值表示含矿网格遥感信息量(经归一化)与已知矿床(经归一化)之比值,纵坐标ANN和XXH频数是吻合比值区间的含矿网格数。总含矿网格数为137,计算分布线与理想分布线(吻合比值为1)的接近程度反映预测的可靠程度

人工神经网络模型主要考虑网络连接的拓扑结构、神经元的特征、学习规则等。目前,已有近40种神经网络模型,其中有反传网络、感知器、自组织映射、Hopfield网络、波耳兹曼机、适应谐振理论等。根据连接的拓扑结构,神经网络模型可以分为:

(1)前向网络 网络中各个神经元接受前一级的输入,并输出到下一级,网络中没有反馈,可以用一个有向无环路图表示。这种网络实现信号从输入空间到输出空间的变换,它的信息处理能力来自于简单非线性函数的多次复合。网络结构简单,易于实现。反传网络是一种典型的前向网络。

(2)反馈网络 网络内神经元间有反馈,可以用一个无向的完备图表示。这种神经网络的信息处理是状态的变换,可以用动力学系统理论处理。系统的稳定性与联想记忆功能有密切关系。Hopfield网络、波耳兹曼机均属于这种类型。

学习是神经网络研究的一个重要内容,它的适应性是通过学习实现的。根据环境的变化,对权值进行调整,改善系统的行为。由Hebb提出的Hebb学习规则为神经网络的学习算法奠定了基础。Hebb规则认为学习过程最终发生在神经元之间的突触部位,突触的联系强度随着突触前后神经元的活动而变化。在此基础上,人们提出了各种学习规则和算法,以适应不同网络模型的需要。有效的学习算法,使得神经网络能够通过连接权值的调整,构造客观世界的内在表示,形成具有特色的信息处理方法,信息存储和处理体现在网络的连接中。

根据学习环境不同,神经网络的学习方式可分为监督学习和非监督学习。在监督学习中,将训练样本的数据加到网络输入端,同时将相应的期望输出与网络输出相比较,得到误差信号,以此控制权值连接强度的调整,经多次训练后收敛到一个确定的权值。当样本情况发生变化时,经学习可以修改权值以适应新的环境。使用监督学习的神经网络模型有反传网络、感知器等。非监督学习时,事先不给定标准样本,直接将网络置于环境之中,学习阶段与工作阶段成为一体。此时,学习规律的变化服从连接权值的演变方程。非监督学习最简单的例子是Hebb学习规则。竞争学习规则是一个更复杂的非监督学习的例子,它是根据已建立的聚类进行权值调整。自组织映射、适应谐振理论网络等都是与竞争学习有关的典型模型。

研究神经网络的非线性动力学性质,主要采用动力学系统理论、非线性规划理论和统计理论,来分析神经网络的演化过程和吸引子的性质,探索神经网络的协同行为和集体计算功能,了解神经信息处理机制。为了探讨神经网络在整体性和模糊性方面处理信息的可能,混沌理论的概念和方法将会发挥作用。混沌是一个相当难以精确定义的数学概念。一般而言,“混沌”是指由确定性方程描述的动力学系统中表现出的非确定性行为,或称之为确定的随机性。“确定性”是因为它由内在的原因而不是外来的噪声或干扰所产生,而“随机性”是指其不规则的、不能预测的行为,只可能用统计的方法描述。混沌动力学系统的主要特征是其状态对初始条件的灵敏依赖性,混沌反映其内在的随机性。混沌理论是指描述具有混沌行为的非线性动力学系统的基本理论、概念、方法,它把动力学系统的复杂行为理解为其自身与其在同外界进行物质、能量和信息交换过程中内在的有结构的行为,而不是外来的和偶然的行为,混沌状态是一种定态。混沌动力学系统的定态包括:静止、平稳量、周期性、准同期性和混沌解。混沌轨线是整体上稳定与局部不稳定相结合的结果,称之为奇异吸引子。

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/12178127.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-21
下一篇 2023-05-21

发表评论

登录后才能评论

评论列表(0条)

保存