三体问题有解吗？

无解

 三体问题（three－body problem）是天体力学中的基本力学模型。它是指三个质量、初始位置和初始速度都是任意的可视为质点的天体，在相互之间只有万有引力的作用下如何预测其运动规律。现已知三体问题不能精确求解，即无法预测所有三体问题的数学情景，只有几种特殊情况已研究。

三体问题最简单的一个例子就是太阳系中太阳、地球和月球的运动。在浩瀚的宇宙中，星球的大小可以忽略不记，所以我们可以把它们看成质点。如果不计太阳系其他星球的影响，那么它们的运动就只是在引力的作用下产生的，所以我们就可以把它们的运动看成一个三体问题。

研究三体问题的方法大致可分为分析方法、定性方法、数值方法三类。

19世纪末的物理学家亨利·庞加莱在当时曾研究后给出结论：三体问题无解。准确地来说，是数学上非线性，无解析解，只有数值解。但是在计算数值解的过程中，初始的微小误差会被不断放大，以及计算叠加过程中本身的计算误差，从而导致最终无法获得一个稳定的数值，从而无法预测三体的运动状态，结果是混沌。

2015年Brutus积分器被开发出来，可以按任意精度计算出任意N体问题的近似收敛解。但是，迭代计算随着精度的不断提高和模拟时间的增长，需要在内存中保留的数字精度呈指数级增长，并且计算的步长需要进一步缩小，往往需耗费长时间才能完成计算。

随着科技的发展，研究人员决定尝试一种规律识别类型的人工智能—神经网络，它大致模拟了大脑的运作机制。神经网络在具备预测能力之前，必须先通过输入大量数据进行深度学习，研发团队采用Brutus软件生成了9900个简化版的三体问题情境，用于训练神经网络。

随后使用5000个新情境对神经网络进行测试，判断其能否精确预测出这些场景的演变轨迹。结果显示预测结果不仅与Brutus非常接近，并且转瞬间便可完成计算。相比之下Brutus的平均计算时间需要花费120秒。

采用穷举法的Brutus程序计算较为迟缓，需要对天体轨迹的每一小步进行运算。神经网络仅需要分析由这些计算产生的运动轨迹、并从中归纳出相应规律，借此预测系统未来的演变结果。这套神经网络系统若能正常运作，得出答案的速度将达到前所未有的水平。对于“引力波如何形成”等更为深层的问题研究就可提上日程了。

这套算法目前处于概念验证阶段，它目前只能按规定时长运行，无法提前预知某个情境需要多久才能完成演化。对于规模更大、更复杂的预测，需要Brutus生成大量数据后“神经网络”进行深度学习，耗时长，费用高昂是该系统的拦路虎。

目前研究团队预计将Brutus程序与“神经网络”融合使用，神经网络仅负责复杂计算的模拟部分。AI应用在天体的运行问题中已逐渐可行，将来会在天文学科中发挥更重要的作用。

Hopfield神经网络(Hopfield Neural Network，简称 HNN)，是美国加州理工学院物理学家Hopfield教授1982年提出的一种反馈型神经网络，信号不但能向前，还能向后传递(输出信号又反馈回来变成输入信号。而前面所介绍的BP网络是一种前馈网络，信号只能向前传递)。他在Hopfield神经网络中引入了“能量函数”概念，使网络的运行稳定性的判断有了可靠依据。Hopfield神经网络的权值不是经过反复学习获得的，而是按照一定规则计算出来的，一经确定就不再改变，而Hopfield神经网络的状态(输入、输出信号)会在运行过程中不断更新，网络演变到稳态时各神经元的状态便是问题的解。

1985年，Hopfield和Tank研制了电子线路来模拟Hopfield网络，较好地解决了优化组合问题中著名的TSP(旅行商)问题，找到了最佳解的近似解，为神经网络的复兴建立了不可磨灭的功劳。

对于地球物理反演这种最优化问题，可以很方便地用Hopfield网络来实现。反演的目标函数等于Hopfield网络的“能量函数”，网络的状态(输入、输出信号)就是模型的参数，网络演变到稳态时各神经元的输入输出值便是反演问题的解。

Hopfield神经网络分为离散型和连续型两种网络模型，分别记为DHNN(Discrete Hopfield Neural Network)和CHNN(Continues Hopfield Neural Network)。

在前馈型网络中无论是离散的还是连续的，一般均不考虑输入与输出之间在时间上的滞后性，而只表达两者之间的映射关系。但在连续Hopfield神经网络中，考虑了输出与输入之间的延迟因素，因此需要用微分方程或差分方程来描述网络的动态数学模型。

8541 离散Hopfield神经网络

离散Hopfield神经网络的拓扑结构如图812所示。这是一种单层全反馈网络，共有n个神经元。图812的特点是任意一个神经元的输出xi只能是0或1，均通过连接权wij反馈至所有神经元j作为它的输入xj。也就是说，每个神经元都通过连接权接收所有其他神经元输出反馈的信息，这样每一个神经元的输出都受其他所有神经元输出的控制，从而每个神经元的输出相互制约。每个神经元均设一个阀值Ti，以反映对输入噪声的控制。

图812 离散Hopfield神经网络的拓扑结构[8]

85411 网络的状态

离散Hopfield神经网络任意一个神经元的输出xj称为网络的状态，它只能是0或1。变化规律由下式规定:

xj=f(netj) j=1，2，…，n　　(833)

f( )为转移函数，离散 Hopfield神经网络的转移函数常用符号函数表示:

地球物理反演教程

其中netj为净输入:

地球物理反演教程

对离散Hopfield神经网络，一般有

wij=0，wij=wji (836)

这说明神经元没有自反馈，两个神经元的相互控制权值相同。

离散Hopfield神经网络稳定时，每个神经元的状态都不再改变。此时的稳定状态就是网络的输出，记为

地球物理反演教程

85412 网络的异步工作方式

它是一种串行方式，网络运行时每次只改变一个神经元的状态，其他神经元的状态保持不变。

85413 网络的同步工作方式

它是一种并行同步工作方式，所有神经元同时调整状态。

85414 网络的吸引子

网络达到稳定状态时的输出X，称为网络的吸引子。

85415 网络的能量函数

网络的能量函数定义为

地球物理反演教程

以上是矩阵形式，考虑无自反馈的具体展开形式为

地球物理反演教程

当网络收敛到稳定状态时，有

ΔE(t)=E(t+1)-E(t)=0 (840)

或者说:

地球物理反演教程

理论证明了如下两个定理[8]:

定理1对于DHNN，若按异步方式调整网络状态，且连接权矩阵W为对称阵，则对任意初始状态，网络都能最终收敛到一个吸引子。

定理2对于DHNN，若按同步方式调整网络状态，且连接权矩阵W为非负定对称阵，则对任意初始状态，网络都能最终收敛到一个吸引子。

85416 利用离散Hopfield神经网络进行反演

在地球物理线性反演中，设有如下目标函数:

地球物理反演教程

对比式(838)和式(842)发现它们在形式上有很多相似之处。王家映的《地球物理反演理论》一书中，直接用式(842)和式(838)类比，公式显得复杂。本书设立一个新的目标函数ϕ，公式将会变得简洁得多:

地球物理反演教程

再对比式(838)和式(843)，发现它们完全一样，只要设:

X(t)=m，W=GTG，T=GTd (844)

注意:式(843)的目标函数ϕ的极大值解就是原来目标函数φ极小值的解，它们是同解的。

如果待反演的模型参数是离散的0或1值，那么可以直接应用离散Hopfield神经网络进行反演。但是一般它们都是连续的数值，所以还要将模型参数表示为二进制[1]:

地球物理反演教程

其中:Bij=0或1为二进制数;D和U为整数，取决于模型参数的大小和精度。这样第i个模型参数就用Bij表示为了二进制数。将式(845)代入目标函数式(843)后再与离散Hopfield神经网络的能量函数进行对比，确立新的等价关系后，就可以进行反演了。

这个新的等价关系式可以参见王家映的《地球物理反演理论》[1]一书。

反演的过程大致如下:

(1)根据模型参数的大小范围和精度确定D和U，将初始输入模型参数变为二进制数。设立一个拟合精度标准，如相对均方差ε，设定一个最大迭代次数N(所有神经元的输出都修改一次称为一次迭代)。

(2)利用数据方程的G矩阵(在一般情况下需用偏导数矩阵获得)计算网络的权值和阀值。

(3)将二进制初始模型参数输入网络并运行网络。

(4)把每次迭代网络输出值变为十进制模型参数，进行正演计算。如果拟合满足精度ε，则停止网络运行并输出反演结果。否则重复(2)~(4)步直到满足精度或达到最多迭代次数N为止。

在一般情况下，地球物理数据方程的G矩阵是无法用解析式写出的，需要用偏导数矩阵获得，它是依赖于输入参数的，因此网络的每次迭代都要重新计算偏导数矩阵。这个计算量是很大的。因此他的反演过程和最小二乘法相似。此外，用Hopfield神经网络进行反演同样有可能陷入局部极值点(吸引子)。因此同样受初始模型的影响，需要尽量让初始模型接近真实模型。

8542 连续Hopfield神经网络(CHNN)[8]

1984年，Hopfield把离散Hopfield神经网络发展为连续Hopfield神经网络。但所有神经元都同步工作，各输入输出量为随时间变化的连续的模拟量，这就使得CHNN比DHNN在信息处理的并行性、实时性方面更接近实际的生物神经网络工作机理。因此利用CHNN进行地球物理反演更加方便。

CHNN可以用常系数微分方程来描述，但用模拟电子线路来描述，则更加形象直观，易于理解。图813为连续Hopfield神经网络的拓扑结构[8]。

图813 连续Hopfield神经网络的拓扑结构[8]

图813中每个神经元用一个运算放大器模拟，神经元的输入输出用放大器的输入输出电压表示，连接权用电导表示。每个放大器有一个正向输出和一个反向输出，分别表示兴奋和抑制。每个神经元还有一个用于设置激活电平的外界输入偏置电流作为阀值。

这里由于篇幅关系不再累述。感兴趣的读者可以参考其他文献。

南搞小孩给出基本的概念: 一一些基本常识和原理 [什么叫神经网络] 人的思维有逻辑性和直观性两种不同的基本方式。逻辑性的思维是指根据逻辑规则进行推理的过程；它先将信息化成概念，并用符号表示，然后，根据符号运算按串行模式进行逻辑推理；这一过程可以写成串行的指令，让计算机执行。然而，直观性的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。这种思维方式的根本之点在于以下两点:1信息是通过神经元上的兴奋模式分布储在网络上;2信息处理是通过神经元之间同时相互作用的动态过程来完成的。 人工神经网络就是模拟人思维的第二种方式。这是一个非线性动力学系统，其特色在于信息的分布式存储和并行协同处理。虽然单个神经元的结构极其简单，功能有限，但大量神经元构成的网络系统所能实现的行为却是极其丰富多彩的。 [人工神经网络的工作原理] 人工神经网络首先要以一定的学习准则进行学习，然后才能工作。现以人工神经网络对手写“A”、“B”两个字母的识别为例进行说明，规定当“A”输入网络时，应该输出“1”，而当输入为“B”时，输出为“0”。 所以网络学习的准则应该是：如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。首先，给网络的各连接权值赋予(0，1)区间内的随机值，将“A”所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“1”和“0”的概率各为50%，也就是说是完全随机的。这时如果输出为“1”(结果正确)，则使连接权值增大，以便使网络再次遇到“A”模式输入时，仍然能作出正确的判断。 如果输出为“0”(即结果错误)，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“A”模式输入时，减小犯同样错误的可能性。如此 *** 作调整，当给网络轮番输入若干个手写字母“A”、“B”后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够作出迅速、准确的判断和识别。一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。 南搞小孩一个小程序: 关于一个神经网络模拟程序的下载 人工神经网络实验系统(BP网络) V10 Beta 作者:沈琦 http://emuchnet/html/200506/de24132html 作者关于此程序的说明: 从输出结果可以看到，前3条"学习"指令，使"输出"神经元收敛到了值 0515974。而后3条"学习"指令，其收敛到了值0520051。再看看处理4和11的指令结果 P Out1: 0520051看到了吗？ "大脑"识别出了4和11是属于第二类的！怎么样很神奇吧再打show指令看看吧!"神经网络"已经形成了!你可以自己任意的设"模式"让这个"大脑"学习分辩哦!只要样本数据量充分(可含有误差的样本)，如果能够在out数据上收敛地话，那它就能分辨地很准哦!有时不是绝对精确，因为它具有"模糊处理"的特性看Process输出的值接近哪个Learning的值就是"大脑"作出的"模糊性"判别! 南搞小孩神经网络研究社区: 人工神经网络论坛 http://wwwyoungfancom/forum/indexphp http://wwwyoungfancom/nn/indexhtml(旧版,枫舞推荐) 国际神经网络学会(INNS)(英文) http://wwwinnsorg/ 欧洲神经网络学会(ENNS)(英文) http://wwwsnnkunnl/enns/ 亚太神经网络学会(APNNA)(英文) http://wwwcsecuhkeduhk/~apnna 日本神经网络学会(JNNS)(日文) http://wwwjnnsorg 国际电气工程师协会神经网络分会 http://wwwieee-nnsorg/ 研学论坛神经网络 http://bbsmatwavcom/post/pagebid=8&sty=1&age=0 人工智能研究者俱乐部 http://wwwsouwucom/ 2nsoft人工神经网络中文站 http://211156161210:8888/2nsoft/indexjsp =南搞小孩推荐部分书籍: 人工神经网络技术入门讲稿(PDF) http://wwwyoungfancom/nn/annpdf 神经网络FAQ(英文) http://wwwyoungfancom/nn/FAQ/FAQhtml 数字神经网络系统(电子图书) http://wwwyoungfancom/nn/nnbook/directorhtm 神经网络导论(英文) http://wwwshefacuk/psychology/gurney/notes/contentshtml =南搞小孩还找到一份很有参考价值的讲座 <前向网络的敏感性研究> http://wwwyoungfancom/nn/mgxppt 是Powerpoint文件，比较大，如果网速不够最好用鼠标右键下载另存 南搞小孩添言:很久之前，枫舞梦想智能机器人从自己手中诞生,SO在学专业的时候也有往这方面发展考研的时候亦是朝着人工智能的方向发展但是很不幸的是枫舞考研失败SO 只好放弃这个美好的愿望,为生活奔波希望你能够成为一个好的智能计算机工程师枫舞已经努力的在给你提供条件资源哦~~

一、Kohonen模型概述

1981年芬兰赫尔辛基大学Kohonen教授提出了一个比较完整的，分类性能较好的自组织特征影射(Self-Organizing Feature Map)人工神经网络(简称SOM网络)方案。这种网络也称为Kohonen特征影射网络。

这种网络模拟大脑神经系统自组织特征影射功能，它是一种竞争式学习网络，在学习中能无监督地进行自组织学习。

二、Hohonen模型原理

1概述

SOM网络由输入层和竞争层组成。输入层神经元数为N，竞争层由M=R×C神经元组成，构成一个二维平面阵列或一个一维阵列(R=1)。输入层和竞争层之间实现全互连接。

SOM网络的基本思想是网络竞争层各神经元竞争对输入模式的响应机会，最后仅有一个神经元成为竞争的胜者，并对那些与获胜神经元有关的各连接权朝着更有利于它竞争的方向调整，这一获胜神经元就表示对输入模式的分类。

SOM算法是一种无教师示教的聚类方法，它能将任意输入模式在输出层映射成一维或二维离散图形，并保持其拓扑结构不变。即在无教师的情况下，通过对输入模式的自组织学习，在竞争层将分类结果表示出来。此外，网络通过对输入模式的反复学习，可以使连接权矢量空间分布密度与输入模式的概率分布趋于一致，即连接权矢量空间分布能反映输入模式的统计特征。

2网络权值初始化

因为网络输入很可能出现在中间区，因此，如果竞争层的初始权值选择在输入空间的中间区，则其学习效果会更加有效。

3邻域距离矩阵

SOM网络中的神经元可以按任何方式排列，这种排列可以用表示同一层神经元间的Manhattan距离的邻域距离矩阵D来描述，而两神经元的Manhattan距离是指神经元坐标相减后的矢量中，其元素绝对值之和。

4Kohonen竞争学习规则

设SOM网络的输入模式为Xp=( ， ，…， )，p=1，2…，P。竞争层神经元的输出值为Yj(j=1，2，…，M)，竞争层神经元j与输入层神经元之间的连接权矢量为

Wj=(wj1，wj2，…，wjN)，j=1，2，…，M。

Kohonen网络自组织学习过程包括两个部分：一是选择最佳匹配神经元，二是权矢量自适应变化的更新过程。

确定输入模式Xp与连接权矢量Wj的最佳匹配的评价函数是两个矢量的欧氏距离最小，即

，j=1，2，…，M，]]

g，确定获胜神经元g。

dg=mjin(dj)，j=1，2，…，M。

求输入模式Xp在竞争层的获胜神经元g及其在邻域距离nd内的神经元的输出。

中国矿产资源评价新技术与评价新模型

dgm为邻域距离矩阵D的元素，为竞争层中获胜神经元g与竞争层中其它神经元的距离。

求输入模式Xp在竞争层的获胜神经元g及其在邻域距离nd内的神经元的权值修正值。

中国矿产资源评价新技术与评价新模型

式中：i=1，2，…，N；

lr为学习速率；

t为学习循环次数。

Δwjt(t+1)的其余元素赋值为0。

进行连接权的调整

wji(t+1)=wji(t)+Δwji(t+1)。

5权值学习中学习速率及邻域距离的更新

(1)SOM网络的学习过程分为两个阶段

第一阶段为粗学习与粗调整阶段。在这一阶段内，连接权矢量朝着输入模式的方向进行调整，神经元的权值按照期望的方向在适应神经元位置的输入空间建立次序，大致确定输入模式在竞争层中所对应的影射位置。一旦各输入模式在竞争层有了相对的影射位置后，则转入精学习与细调整阶段，即第二阶段。在这一阶段内，网络学习集中在对较小的范围内的连接权进行调整，神经元的权值按照期望的方向在输入空间伸展，直到保留到他们在粗调整阶段所建立的拓扑次序。

学习速率应随着学习的进行不断减小。

(2)邻域的作用与更新

在SOM网络中，脑神经细胞接受外界信息的刺激产生兴奋与抑制的变化规律是通过邻域的作用来体现的邻域规定了与获胜神经元g连接的权向量Wg进行同样调整的其他神经元的范围。在学习的最初阶段，邻域的范围较大，随着学习的深入进行，邻域的范围逐渐缩小。

(3)学习速率及邻域距离的更新

在粗调整阶段，

学习参数初始化

最大学习循环次数 MAX_STEP1=1000，

粗调整阶段学习速率初值 LR1=14，

细调整阶段学习速率初值 LR2=002，

最大邻域距离 MAX_ND1=Dmax，

Dmax为邻域距离矩阵D的最大元素值。

粗调阶段

学习循环次数step≤MAX_STEP1，

学习速率lr从LR1调整到LR2，

邻域距离nd 从MAX_ND1调整到1，

求更新系数r，

r=1-step/MAX_STEP1，

邻域距离nd更新，

nd=100001+(MAX_ND1-1)×r。

学习速率lr更新，

lr=LR2+(LR1-LR2)×r。

在细调整阶段，

学习参数初始化，

最大学习循环次数 MAX_STEP2=2000，

学习速率初值 LR2=002，

最大邻域距离 MAX_ND2=1。

细调阶段

MAX_STEP1＜step≤MAX_STEP1+MAX_STEP2，

学习速率lr慢慢从LR2减少，

邻域距离nd设为1，

邻域距离nd更新，

nd=MAX_ND2+000001。

学习速率lr更新，

lr=LR2×(MAX_STEP1/step)。

6网络的回想——预测

SOM网络经学习后按照下式进行回想：

中国矿产资源评价新技术与评价新模型

Yj=0，j=1，2，…，M，(j≠g)。

将需要分类的输入模式提供给网络的输入层，按照上述方法寻找出竞争层中连接权矢量与输入模式最接近的神经元，此时神经元有最大的激活值1，而其它神经元被抑制而取0值。这时神经元的状态即表示对输入模式的分类。

三、总体算法

1SOM权值学习总体算法

(1)输入参数X[N][P]。

(2)构造权值矩阵W[M][N]。

1)由X[N][P]求Xmid[N]，

2)由Xmid[N]构造权值W[M][N]。

(3)构造竞争层。

1)求竞争层神经元数M，

2)求邻域距离矩阵D[M][M]，

3)求矩阵D[M][M]元素的最大值Dmax。

(4)学习参数初始化。

(5)学习权值W[M][N]。

1)学习参数学习速率lr，邻域距离nd更新，分两阶段：

(i)粗调阶段更新；

(ii)细调阶段更新。

2)求输入模式X[N][p]在竞争层的获胜神经元win[p]。

(i)求X[N][p]与W[m][N]的欧氏距离dm；

(ii)按距离dm最短，求输入模式X[N][p]在竞争层的获胜神经元win[p]。

3)求输入模式X[N][p]在竞争层的获胜神经元win[p]及其在邻域距离nd内的神经元的输出Y[m][p]。

4)求输入模式X[N][p]在竞争层的获胜神经元win[p]及其

在邻域距离nd内的神经元的权值修正值ΔW[m][N]，

从而得到输入模式X[N][p]产生的权值修正值ΔW[M][N]。

5)权值修正W[M][N]=W[M][N]+ΔW[M][N]。

6)学习结束条件：

(i)学习循环到MAX_STEP次；

(ii)学习速率lr达到用户指定的LR_MIN；

(iii)学习时间time达到用户指定的TIME_LIM。

(6)输出。

1)学习得到的权值矩阵W[M][N]；

2)邻域距离矩阵D[M][M]。

(7)结束。

2SOM预测总体算法

(1)输入需分类数据X[N][P]，邻域距离矩阵D[M][M]。

(2)求输入模式X[N][p]在竞争层的获胜神经元win[p]。

1)求X[N][p]与W[m][N]的欧氏距离dm；

2)按距离dm最短，求输入模式X[N][p]在竞争层的获胜神经元win[p]。

(3)求获胜神经元win[p]在竞争层排列的行列位置。

(4)输出与输入数据适应的获胜神经元win[p]在竞争层排列的行列位置，作为分类结果。

(5)结束。

四、总体算法流程图

Kohonen总体算法流程图见附图4。

五、数据流图

Kohonen数据流图见附图4。

六、无模式识别总体算法

假定有N个样品，每个样品测量M个变量，则有原始数据矩阵：

X=(xij)N×M，i=1，2，…，N，j=1，2，…，M。

(1)原始数据预处理

X=(xij)N×M处理为Z=(zij)N×M，

分3种处理方法：

1)衬度；

2)标准化；

3)归一化。

程序默认用归一化处理。

(2)构造Kohonen网

竞争层与输入层之间的神经元的连接权值构成矩阵WQ×M。

WQ×M初始化。

(3)进入Kohonen网学习分类循环，用epoch记录循环次数，epoch=1。

(4)在每个epoch循环中，对每个样品n(n=1，2，…，N)进行分类。从1个样品n=1开始。

(5)首先计算输入层的样品n的输入数据znm(m=1，2，…，M)与竞争层Q个神经元对应权值wqm的距离。

(6)寻找输入层的样品n与竞争层Q个神经元的最小距离，距离最小的神经元Win[n]为获胜神经元，将样品n归入获胜神经元Win[n]所代表的类型中，从而实现对样品n的分类。

(7)对样品集中的每一个样品进行分类：

n=n+1。

(如果n≤N，转到5。否则，转到8。)

(8)求分类后各神经元所对应的样品的变量的重心，用对应的样品的变量的中位数作为重心，用对应的样品的变量的重心来更新各神经元的连接权值。

(9)epoch=epoch+1；

一次学习分类循环结束。

(10)如果满足下列两个条件之一，分类循环结束，转到11；

否则，分类循环继续进行，转到4。

1)全部样品都固定在某个神经元上，不再改变了；

2)学习分类循环达到最大迭代次数。

(11)输出：

1)N个样品共分成多少类，每类多少样品，记录每类的样品编号；

2)如果某类中样品个数超过1个，则输出某类的样品原始数据的每个变量的均值、最小值、最大值和均方差；

3)如果某类中样品个数为1个，则输出某类的样品原始数据的各变量值；

4)输出原始数据每个变量(j=1，2，…，M)的均值，最小值，最大值和均方差。

(12)结束。

七、无模式识别总体算法流程图

Kohonen无模式总体算法流程图见附图5。

先来看一个网络：

这是一个简单的CNN的前半部分，不包含全连接层，而且已有一个卷积层和一个池化层，卷积核大小是2X2，步长1，Padding为0，Pooling *** 作为Max Pooling，大小同样是2x2

先来看正向的计算，卷积 *** 作就没什么好说的了，不了解的可以随便百度一下，下面直接写公式：

是节点 的加权输入， 是激活函数ReLU

算出所有的 后，就是Max Pooling了：

卷积层和池化层的前向计算都说完了，虽然实际中一般不止一层，不过都是可以套用的，接下来就是全连接层了：

如图所示，max pooling的结果‘拉平’后就是全连接层的输入向量了：

这是之前的一篇关于DNN的推导，就不赘述了：

https://wwwjianshucom/p/bed8d5dac958

关于全连接层的误差传播已经知道怎么算了，接下来的问题就是将误差传回池化层及卷积层了：

上图中 是FC(全连接)层中输入层的误差，也是池化层的下一层的误差，公式在上面一篇文章中已经讨论了：

而输入层是没有激活函数的，所以 ，即：

在得到误差项之后，进一步求Pooling *** 作之前的误差项，如果Max Pooling如下：

则upsample *** 作则同样：

推导过程如下：

若x1为最大值，则不难求得下列偏导数：

因为只有最大的那一项会队x5产生影响，所以其余项的偏导数都为0，又因为：

，所以：

如下图所示：

池化层没有参数需要更新，所以只要把误差传给上一层就可以了，接下的问题就是已知卷积层的上一层（也就是正向计算的下一层）误差，求卷积层的误差以及更新卷积核了。

首先已知了上一层所有节点 的误差项 ，来看看如何更新卷积核的梯度。由于任一 都对所有 有影响，根据全导数公式：

上面已经讨论过 是节点 的加权输入，所以：

最后，就是把误差继续往上一层传递了，如图：

先看几个例子：

归纳一下，可以发现如下图的规律：

公式如下：

写成卷积形式：

总算写完了，只是后面的有些粗糙，以后有时间再完善吧