神经网络结构-神经元neuron

在这篇和接下来的几篇文章中，我们将用最通俗的语言介绍机器学习中的神经网络概念和算法思路，尽可能让每个普通人都能听懂。

神经网络文章索引

就是用数学算法和计算机，参照动物（包括人类）大脑的神经结构，建立的模拟系统，科学家们希望以这样的方式不断进化扩展，能够模拟人类大脑的行为和能力。

简单说NN就是电子神经大脑。

人类大脑主要有三个关键要素：数以百亿的神经元，更加庞大的互相交错的神经元之间的连接，以及这些神经元和连接是如何运作的机制。

人类大脑的神经元是我们思维的基础，我们之所以能够看听读写，进行各种思考都是大脑里800多亿神经元共同作用的结果。

粗糙的说，神经元有两种状态：激活（active），或未激活（inactive）。就像灯泡，开灯发光，还是关灯。

我们头脑里的每个念头，本质上都是不同组合的神经元被点亮。

比如我们脑海里浮现出“猫”这个概念的时候，可能只是第187、2933、1223、90、223233912等几千万个神经元被点亮。就像我们看到电视屏幕上出现一个“猫”字的画面，但本质上是电视屏幕数百万个像素被不同点亮而已。

是谁在不断点亮我们大脑中数以百亿的神经元？

当我们还未出生时候，当细胞还在分裂的时候，我们的神经元才出现的时候，它就启动了。

每个神经元不仅自己忽明忽暗的变化着，而且能够通过通过连接向其他数以千计的神经元传递信号，也能接受其他神经元传递过来的信号，并且能够根据这些传入的信号再调整发出新的信号。

这就像一张网，所有神经元互相影响，互为输出输入，互为因果，互相激活，互相抑制。

首先我们必须明确，脑海里闪现的念头只不过是不同神经元组合被激活。

对于某一批神经元被激活的这个状态，我们可能叫做猫，也可能叫cat，也可以叫第87893中激活组合。

不停的有神经元被重新激活，同时也有很多已经激活神经元被抑制，变为未激活状态。这种不停的变化，就是我们的思想。

如果我们用心体验，就会发现，我们脑海里闪现的只是文字概念，而不是曾经被记忆的现实事物。我们脑海里会浮现“绿”字，但并没有绿色，绿色只存在于我们的视觉系统。

所以，人类意识的最小单元是文字字符，或者说是数字符号而已。

目前人工神经网络中的神经元还是极简陋的，原则上只是一个数字，代表了这个神经元被激活的程度，比如我们规定0是未激活，1是全激活，那么05就是半激活的中间状态。

这个数字我们就叫做激活值activation。

由于我们使用计算机来模拟神经元，通过外部输入过来的信号计算这个activation激活值，有时候可能计算得到很大的数字比如几百多，那么就会导致各个神经元的激活值有的很大有的很小，而我们还是希望把它缩小到0~1之间更合理。

这时候我们会对直接计算的激活值进行一下处理，把它对应到0~1之间，最常用来做这个处理的函数就是Sigmoid函数：

也就是说：

但Sigmoid是个曲线函数，要乘方还要取倒数，对于数以万亿次的计算来说还是太复杂了，而且由于曲线过渡也太平滑，不利于干净利落的区分激活或不激活两种状态。所以后来大家就更多的改用RELU函数(rectified linear unit)。

RELU是相当的简单粗暴，当a<0的时候，返回0；当a>0的时候，返回a。也就是如果直接算出来的激活值是负的，那么就直接改为0未激活，如果是正的，那么就保留这个值不变。——没错，它并不在0到1之间，而是0到无穷大，所以一般还需要后续处理的，这在后面文章中会提到。

我们上面粗略的谈到神经元、神经网络和意识，意识就是神经网络中不同神经元被点亮的状态。

对于抽象的字符，人类大脑需要经过大量反复的训练，才能把眼睛看到的其他人随手写下的9字抽象成为“9”这个概念的。

我们来逐层分解上面这个图。

首先是视网膜获得数以千万计的颜色信息（我们假设黑白只有亮度信息），我们可以理解每个视网膜细胞就是一个神经元，代表着一个表示颜色的数字，视网膜细胞就是一个神经元，它的亮度数字就是激活值。

视网膜层上的神经元捕获了图像，但并不能思考。它们把数据通过神经元连接传递到下一层，下一层也包含了很多的神经元，并且每个神经元会从视网膜层数千万的激活值中寻找到一些小的图案，比如一个小横线、小弧线之类。

每个不同小图案对应了不同的神经元，比如靠近下面的小横线对应这一层的第3个神经元，当我们发现视网膜传来的图像数据中包含靠下的小横线的时候，就点亮它。当然，我们看到的图像是复杂的，包含很多小图案，所以在这一层也就会点亮很多神经元，但肯定不会有前面视网膜层数千万那么多。

从输入层数千万输入数据，变为第1层数千个，这就是神经元逐层抽象的过程。

我们把视网膜层叫 输入层Input layer ,计做第0层，识别小图案的一层算是第1层，因为我们实际上也搞不懂这一层到底是怎么识别的是哪些具体图案，这层很神秘，我们把这样的神秘层叫做 隐藏层Hidden layer 。你可以自己体验一下，我们看到猫的时候直接就识别了，完全不知道自己怎么做到的。

然后，第1层又会继续传递下去到达后面一层神经元，到达第2层。

第2层会用同样的方法，利用从第1层传来的数千神经元激活值（表示各种各样的小图案），从中识别出更高级一些的图形内容，比如小图案拼接成的小圆圈。

第2层我们也搞不懂到底是具体怎么进行的，也是神秘的，仍然是隐藏层。

如果继续下去，可能有很多隐藏层，逐层抽象。直到最后一层，从前一层是别的图形中直接可以识别出我们想要的“9”数字概念。

最后这一层我们叫做输出层，在上面的示意图中是最右面的第3层。

让我们回到神经网层级图。

我们看到每一个神经元的激活值都是前一层所有神经元连接激活的结果（输入层除外）：

这个算法很简单，每个神经元都等于前一层所有神经元的加权和（每个前一层神经元激活值a，乘以它的权重w，然后加在一起），再经过激活函数Sigmoid或RELU处理。

注意上图还包含了一个Bias偏置值，用来限定被激活函数处理之前的最小值。

我们进一步考虑整个第n层的情况，那么就可以把它表示成一个由前一层所有神经元权重组成的矩阵，乘以前一层所有神经元激活值组成的向量，然后加上第n层每个神经元对应的偏置值，得到的是一个向量，对应了第n层每个神经元的激活值。

将以上算法整合展开就是：

远未结束

我们再回看这个图：

似乎我们已经完全掌握了每个神经元的算法，但根本没有！

因为这张图只是我们希望的样子，也就是每个权重w和每个偏置b都是恰恰好的时候，最终右侧输出层才能像我我们希望的那样点亮正确代表数字的神经元。

什么样的权重和偏置才是恰恰好的？

先说我们有多少个权重和偏置需要恰恰好呢？对于这个28x28=784个像素的输入值，如果我们如图有2个隐藏层每层16个神经元，那么第1层每个神经元需要784个权重w，共784x16=12544个w，以及16个偏置b；第2层需要16x16+16=256个权重w和16个偏置b；第三层需要10x16=160个权重和10个偏置b；这些加在一起是：

12544+256+160+16+16+10=13002

共有1万3千多个数字要恰恰好才能实现正确的分类！

机器学习的过程其实就是寻找着1万3千多个恰恰好的数字的过程，在下一篇文章中继续介绍。

如果您发现文章错误，请不吝留言指正；

如果您觉得有用，请点喜欢；

如果您觉得很有用，感谢转发~

END

我可以告诉你，有一些数学软件和算法是可以计算数字之间的规律的。其中一些包括：1 自动序列识别器（Automatic Sequence Recognizer，ASR）：这是一款能够识别数据序列中规律的软件。它可以通过分析输入的数字序列，自动推导序列中的算术或几何规律。ASR也可以用于模式识别、数字信号处理和自然处理等领域。2 斐波那契数列（Fibonacci sequence）：这是一种数列，其每个数字都是前两个数字之和。这个数列在自然界、金融和计算机科学等许多领域都有广泛的应用。3 线性回归（Linear Regression）：这是一种常见的机器学习算法，可以用于预测数字之间的线性关系。它通过最小化实际数据点和预测值之间的误差，来建立数学以便更好地预测未来的数字值。以上算法和软件仅是数字规律计算的几种方法之一，还有许多其他的方法，如神经网络、遗传算法等。

原文链接：

http://blackblogtech/2018/02/23/Eight-Neural-Network/

更多干货就在我的个人博客 http://blackblogtech 欢迎关注

刚刚入门神经网络，往往会对众多的神经网络架构感到困惑，神经网络看起来复杂多样，但是这么多架构无非也就是三类，前馈神经网络，循环网络，对称连接网络，本文将介绍四种常见的神经网络，分别是CNN，RNN，DBN，GAN。通过这四种基本的神经网络架构，我们来对神经网络进行一定的了解。

神经网络是机器学习中的一种模型，是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

一般来说，神经网络的架构可以分为三类：

前馈神经网络：

这是实际应用中最常见的神经网络类型。第一层是输入，最后一层是输出。如果有多个隐藏层，我们称之为“深度”神经网络。他们计算出一系列改变样本相似性的变换。各层神经元的活动是前一层活动的非线性函数。

循环网络：

循环网络在他们的连接图中定向了循环，这意味着你可以按照箭头回到你开始的地方。他们可以有复杂的动态，使其很难训练。他们更具有生物真实性。

循环网络的目的使用来处理序列数据。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力。例如，你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。

循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。

对称连接网络：

对称连接网络有点像循环网络，但是单元之间的连接是对称的（它们在两个方向上权重相同）。比起循环网络，对称连接网络更容易分析。这个网络中有更多的限制，因为它们遵守能量函数定律。没有隐藏单元的对称连接网络被称为“Hopfield 网络”。有隐藏单元的对称连接的网络被称为玻尔兹曼机。

其实之前的帖子讲过一些关于感知机的内容，这里再复述一下。

首先还是这张图

这是一个M-P神经元

一个神经元有n个输入，每一个输入对应一个权值w，神经元内会对输入与权重做乘法后求和，求和的结果与偏置做差，最终将结果放入激活函数中，由激活函数给出最后的输出，输出往往是二进制的，0 状态代表抑制，1 状态代表激活。

可以把感知机看作是 n 维实例空间中的超平面决策面，对于超平面一侧的样本，感知器输出 1，对于另一侧的实例输出 0，这个决策超平面方程是 w⋅x=0。 那些可以被某一个超平面分割的正反样例集合称为线性可分(linearly separable)样例集合，它们就可以使用图中的感知机表示。

与、或、非问题都是线性可分的问题，使用一个有两输入的感知机能容易地表示，而异或并不是一个线性可分的问题，所以使用单层感知机是不行的，这时候就要使用多层感知机来解决疑惑问题了。

如果我们要训练一个感知机，应该怎么办呢？

我们会从随机的权值开始，反复地应用这个感知机到每个训练样例，只要它误分类样例就修改感知机的权值。重复这个过程，直到感知机正确分类所有的样例。每一步根据感知机训练法则来修改权值，也就是修改与输入 xi 对应的权 wi，法则如下：

这里 t 是当前训练样例的目标输出，o 是感知机的输出，η 是一个正的常数称为学习速率。学习速率的作用是缓和每一步调整权的程度，它通常被设为一个小的数值（例如 01），而且有时会使其随着权调整次数的增加而衰减。

多层感知机，或者说是多层神经网络无非就是在输入层与输出层之间加了多个隐藏层而已，后续的CNN，DBN等神经网络只不过是将重新设计了每一层的类型。感知机可以说是神经网络的基础，后续更为复杂的神经网络都离不开最简单的感知机的模型，

谈到机器学习，我们往往还会跟上一个词语，叫做模式识别，但是真实环境中的模式识别往往会出现各种问题。比如：

图像分割：真实场景中总是掺杂着其它物体。很难判断哪些部分属于同一个对象。对象的某些部分可以隐藏在其他对象的后面。

物体光照：像素的强度被光照强烈影响。

图像变形：物体可以以各种非仿射方式变形。例如，手写也可以有一个大的圆圈或只是一个尖头。

情景支持：物体所属类别通常由它们的使用方式来定义。例如，椅子是为了让人们坐在上面而设计的，因此它们具有各种各样的物理形状。

卷积神经网络与普通神经网络的区别在于，卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。在卷积神经网络的卷积层中，一个神经元只与部分邻层神经元连接。在CNN的一个卷积层中，通常包含若干个特征平面(featureMap)，每个特征平面由一些矩形排列的的神经元组成，同一特征平面的神经元共享权值，这里共享的权值就是卷积核。卷积核一般以随机小数矩阵的形式初始化，在网络的训练过程中卷积核将学习得到合理的权值。共享权值（卷积核）带来的直接好处是减少网络各层之间的连接，同时又降低了过拟合的风险。子采样也叫做池化（pooling），通常有均值子采样（mean pooling）和最大值子采样（max pooling）两种形式。子采样可以看作一种特殊的卷积过程。卷积和子采样大大简化了模型复杂度，减少了模型的参数。

卷积神经网络由三部分构成。第一部分是输入层。第二部分由n个卷积层和池化层的组合组成。第三部分由一个全连结的多层感知机分类器构成。

这里举AlexNet为例：

·输入：224×224大小的，3通道

·第一层卷积：11×11大小的卷积核96个，每个GPU上48个。

·第一层max-pooling：2×2的核。

·第二层卷积：5×5卷积核256个，每个GPU上128个。

·第二层max-pooling：2×2的核。

·第三层卷积：与上一层是全连接，33的卷积核384个。分到两个GPU上个192个。

·第四层卷积：3×3的卷积核384个，两个GPU各192个。该层与上一层连接没有经过pooling层。

·第五层卷积：3×3的卷积核256个，两个GPU上个128个。

·第五层max-pooling：2×2的核。

·第一层全连接：4096维，将第五层max-pooling的输出连接成为一个一维向量，作为该层的输入。

·第二层全连接：4096维

·Softmax层：输出为1000，输出的每一维都是属于该类别的概率。

卷积神经网络在模式识别领域有着重要应用，当然这里只是对卷积神经网络做了最简单的讲解，卷积神经网络中仍然有很多知识，比如局部感受野，权值共享，多卷积核等内容，后续有机会再进行讲解。

传统的神经网络对于很多问题难以处理，比如你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。RNN之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。理论上，RNN能够对任何长度的序列数据进行处理。

这是一个简单的RNN的结构，可以看到隐藏层自己是可以跟自己进行连接的。

那么RNN为什么隐藏层能够看到上一刻的隐藏层的输出呢，其实我们把这个网络展开来开就很清晰了。

从上面的公式我们可以看出，循环层和全连接层的区别就是循环层多了一个权重矩阵 W。

如果反复把式2带入到式1，我们将得到：

在讲DBN之前，我们需要对DBN的基本组成单位有一定的了解，那就是RBM，受限玻尔兹曼机。

首先什么是玻尔兹曼机？

[上传失败(image-d36b31-1519636788074)]

如图所示为一个玻尔兹曼机，其蓝色节点为隐层，白色节点为输入层。

玻尔兹曼机和递归神经网络相比，区别体现在以下几点：

1、递归神经网络本质是学习一个函数，因此有输入和输出层的概念，而玻尔兹曼机的用处在于学习一组数据的“内在表示”，因此其没有输出层的概念。

2、递归神经网络各节点链接为有向环，而玻尔兹曼机各节点连接成无向完全图。

而受限玻尔兹曼机是什么呢？

最简单的来说就是加入了限制，这个限制就是将完全图变成了二分图。即由一个显层和一个隐层构成，显层与隐层的神经元之间为双向全连接。

h表示隐藏层，v表示显层

在RBM中，任意两个相连的神经元之间有一个权值w表示其连接强度，每个神经元自身有一个偏置系数b（对显层神经元）和c（对隐层神经元）来表示其自身权重。

具体的公式推导在这里就不展示了

DBN是一个概率生成模型，与传统的判别模型的神经网络相对，生成模型是建立一个观察数据和标签之间的联合分布，对P(Observation|Label)和 P(Label|Observation)都做了评估，而判别模型仅仅而已评估了后者，也就是P(Label|Observation)。

DBN由多个限制玻尔兹曼机（Restricted Boltzmann Machines）层组成，一个典型的神经网络类型如图所示。这些网络被“限制”为一个可视层和一个隐层，层间存在连接，但层内的单元间不存在连接。隐层单元被训练去捕捉在可视层表现出来的高阶数据的相关性。

生成对抗网络其实在之前的帖子中做过讲解，这里在说明一下。

生成对抗网络的目标在于生成，我们传统的网络结构往往都是判别模型，即判断一个样本的真实性。而生成模型能够根据所提供的样本生成类似的新样本，注意这些样本是由计算机学习而来的。

GAN一般由两个网络组成，生成模型网络，判别模型网络。

生成模型 G 捕捉样本数据的分布，用服从某一分布（均匀分布，高斯分布等）的噪声 z 生成一个类似真实训练数据的样本，追求效果是越像真实样本越好；判别模型 D 是一个二分类器，估计一个样本来自于训练数据（而非生成数据）的概率，如果样本来自于真实的训练数据，D 输出大概率，否则，D 输出小概率。

举个例子：生成网络 G 好比假币制造团伙，专门制造假币，判别网络 D 好比警察，专门检测使用的货币是真币还是假币，G 的目标是想方设法生成和真币一样的货币，使得 D 判别不出来，D 的目标是想方设法检测出来 G 生成的假币。

传统的判别网络：

生成对抗网络：

下面展示一个cDCGAN的例子（前面帖子中写过的）

生成网络

判别网络

最终结果，使用MNIST作为初始样本，通过学习后生成的数字，可以看到学习的效果还是不错的。

本文非常简单的介绍了四种神经网络的架构，CNN，RNN，DBN，GAN。当然也仅仅是简单的介绍，并没有深层次讲解其内涵。这四种神经网络的架构十分常见，应用也十分广泛。当然关于神经网络的知识，不可能几篇帖子就讲解完，这里知识讲解一些基础知识，帮助大家快速入（zhuang）门（bi）。后面的帖子将对深度自动编码器，Hopfield 网络长短期记忆网络（LSTM）进行讲解。

简单来说，卷积神经网络和循环神经网络都是深度学习的重要框架。区别在哪里呢？区别就在循环层上。卷积神经网络没有时序性的概念，输入直接和输出挂钩；循环神经网络具有时序性，当前决策跟前一次决策有关。举个例子，进行手写数字识别的时候，我们并不在意前一个决策结果是什么，需要用卷积神经网络；而自然语言生成时，上一个词很大程度影响了下一个词，需要用循环神经网络。

1：神经网络算法简介

2：Backpropagation算法详细介绍

3：非线性转化方程举例

4：自己实现神经网络算法NeuralNetwork

5：基于NeuralNetwork的XOR实例

6：基于NeuralNetwork的手写数字识别实例

7：scikit-learn中BernoulliRBM使用实例

8：scikit-learn中的手写数字识别实例

深度学习需要有数学和计算机基础。

深度学习(DL, Deep Learning)是机器学习(ML, Machine Learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能(AI, Artificial Intelligence)。

深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。 深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。

深度学习在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。

《深度学习精要（基于R语言）》学习笔记

机器学习主要用于开发和使用那些从原始数据中学习、总结出来的用于进行预测的算法。

深度学习是一种强大的多层架构，可以用于模式识别、信号检测以及分类或预测等多个领域。

神经网络包括一系列的神经元，或者叫作节点，它们彼此连结并处理输入。神经元之间的连结经过加权处理，权重取决于从数据中学习、总结出的使用函数。一组神经元的激活和权重（从数据中自适应地学习）可以提供给其他的神经元，其中一些最终神经元的激活就是预测。

经常选择的激活函数是sigmoid函数以及双曲正切函数tanh，因为径向基函数是有效的函数逼近，所以有时也会用到它们。

权重是从每个隐藏单元到每个输出的路径，对第i个的输出通过(w_i)表示。如创建隐藏层的权重，这些权重也是从数据中学习得到的。分类会经常使用一种最终变换，softmax函数。线性回归经常使用恒等（identity）函数，它返回输入值。权重必须从数据中学习得到，权重为零或接近零基本上等同于放弃不必要的关系。

R中神经网络相关包：

一旦集群完成初始化，可以使用R或本地主机（127001:54321）提供的Web接口与它连接。

如果数据集已经加载到R，使用ash2o()函数：

如果数据没有载入R，可以直接导入到h2o中：

也可以直接导入网络上的文件：

导入基于识别手写体数字，数据集的每一列（即特征），表示图像的一个像素。每张图像都经过标准化处理，转化成同样的大小，所以所有图像的像素个数都相同。第一列包含真实的数据标签，其余各列是黑暗像素的值，它用于分类。

使用caret包训练模型：

生成数据的一组预测，查看柱状图：

跟训练集数据柱状图对比，很明显模型不是最优的。

通过混淆矩阵检查模型性能：

No Information Rate（无信息率）指不考虑任何信息而仅仅通过猜测来决定最频繁的类的准确度期望。在情形“1”中，它在1116%的时间中发生。P值（P-Value [Acc > NIR]）检验了观测准确度（Accuracy : 03674）是否显著不同于无信息率（1116%）。

Class: 0的灵敏度（Sensitivity）可以解释为：8907%的数字0被正确地预测为0。特异度（Specificity）可以解释为：9514%的预测为非数字0被预测为不是数字0。

检出率（Detection Rate）是真阳性的百分比，而最后的检出预防度（detection prevalence）是预测为阳性的实例比例，不管它们是否真的为阳性。

平衡准确度（balanced accuracy）是灵敏度和特异度的平均值。

接下来我们通过增加神经元的个数来提升模型的性能，其代价是模型的复杂性会显著增加：

隐藏神经元的数量从5个增加到10个，样本内性能的总准确度从3674% 提升到了 654%。我们继续增加隐藏神经元的数量：

增加到40个神经元后准确度跟10个神经元的一样，还是654%。如果是商业问题，还需要继续调节神经元的数量和衰变率。但是作为学习，模型对数字9的表现比较差，对其他数字都还行。

RSNNS包提供了使用斯图加特神经网络仿真器（Stuttgart Neural Network Simulator ， SNNS）模型的接口，但是，对基本的、单隐藏层的、前馈的神经网络，我们可以使用mlp()这个更为方便的封装函数，它的名称表示多层感知器（multi-layer perceptron）。

RSNNS包要求输入为矩阵、响应变量为一个哑变量的 矩阵 ，因此每个可能的类表示成矩阵列中的 0/1 编码。

通过decodeClassLabels()函数可以很方便的将数据转换为哑变量矩阵。

预测结果的值为1-10，但是实际值为0-9，所以在生成混淆矩阵时，需要先减去1：

RSNNS包的学习算法使用了相同数目的隐藏神经元，计算结果的性能却有极大提高。

函数I()有两个作用：

1在对dataframe的调用中将对象包含在I()中来保护它，防止字符向量到factor的转换和名称的删除，并确保矩阵作为单列插入。

2在formula函数中，它被用来禁止将“+”、“-”、“”和“^”等运算符解释为公式运算符，因此它们被用作算术运算符。

从RSNNS包返回的预测值（predml4）中可以看到，一个观测可能有40%的概率成为“5”，20%的概率成为“6”，等等。最简单的方法就是基于高预测概率来对观测进行分类。RSNNS包有一种称为赢者通吃（winner takes all，WTA）的方法，只要没有关系就选择概率最高的类，最高的概率高于用户定义的阈值（这个阈值可以是0），而其他类的预测概率都低于最大值减去另一个用户定义的阈值，否则观测的分类就不明了。如果这两个阈值都是0（缺省），那么最大值必然存在并且唯一。这种方法的优点是它提供了某种质量控制。

但是在实际应用中，比如一个医学背景下，我们收集了病人的多种生物指标和基因信息，用来分类确定他们是否健康，是否有患癌症的风险，是否有患心脏病的风险，即使有40%的患癌概率也需要病人进一步做检查，即便他健康的概率是60%。RSNNS包中还提供一种分类方法称为“402040”，如果一个值高于用户定义的阈值，而所有的其他值低于用户定义的另一个阈值。如果多个值都高于第一个阈值，或者任何值都不低于第二个阈值，我们就把观测定性为未知的。这样做的目的是再次给出了某种质量控制。

“0”分类表示未知的预测。

通常来说，过拟合指模型在训练集上的性能优于测试集。过拟合发生在模型正好拟合了训练数据的噪声部分的时候。因为考虑了噪声，它似乎更准确，但一个数据集和下一个数据集的噪声不同，这种准确度不能运用于除了训练数据之外的任何数据 — 它没有一般化。

使用RSNNS模型对样本外数据预测：

模型在第一个5000行上的准确度为851%，在第二个5000行上的准确度减少为80%，损失超过5%，换句话说，使用训练数据来评价模型性能导致了过度乐观的准确度估计，过度估计是5%。

这个问题我们后面再处理。

优点：

（1）具有自学习功能。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。

自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预测、市场预测、效益预测，其应用前途是很远大的。

（2）具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。

（3）具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。

缺点：

（1）最严重的问题是没能力来解释自己的推理过程和推理依据。

（2）不能向用户提出必要的询问，而且当数据不充分的时候，神经网络就无法进行工作。

（3）把一切问题的特征都变为数字，把一切推理都变为数值计算，其结果势必是丢失信息。

（4）理论和学习算法还有待于进一步完善和提高。

扩展资料：

神经网络发展趋势

人工神经网络特有的非线性适应性信息处理能力，克服了传统人工智能方法对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。

人工神经网络与其它传统方法相结合，将推动人工智能和信息处理技术不断发展。近年来，人工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。

将信息几何应用于人工神经网络的研究，为人工神经网络的理论研究开辟了新的途径。神经计算机的研究发展很快，已有产品进入市场。光电结合的神经计算机为人工神经网络的发展提供了良好条件。

神经网络在很多领域已得到了很好的应用，但其需要研究的方面还很多。其中，具有分布存储、并行处理、自学习、自组织以及非线性映射等优点的神经网络与其他技术的结合以及由此而来的混合方法和混合系统，已经成为一大研究热点。

由于其他方法也有它们各自的优点，所以将神经网络与其他方法相结合，取长补短，继而可以获得更好的应用效果。目前这方面工作有神经网络与模糊逻辑、专家系统、遗传算法、小波分析、混沌、粗集理论、分形理论、证据理论和灰色系统等的融合。

参考资料：

-人工神经网络