神经网络 的四个基本属性是什么?

神经网络 的四个基本属性：

（1）非线性：非线性是自然界的普遍特征。脑智能是一种非线性现象。人工神经元处于两种不同的激活或抑制状态，它们在数学上是非线性的。由阈值神经元组成的网络具有更好的性能，可以提高网络的容错性和存储容量。

（2）无限制性：神经网络通常由多个连接广泛的神经元组成。一个系统的整体行为不仅取决于单个神经元的特性，而且还取决于单元之间的相互作用和互连。通过单元之间的大量连接来模拟大脑的非限制性。联想记忆是一个典型的无限制的例子。

（3）非常定性：人工神经网络具有自适应、自组织和自学习的能力。神经网络处理的信息不仅会发生变化，而且非线性动态系统本身也在发生变化。迭代过程通常用来描述动态系统的演化。

（4）非凸性：在一定条件下，系统的演化方向取决于特定的状态函数。例如，能量函数的极值对应于系统的相对稳定状态。非凸性是指函数具有多个极值，系统具有多个稳定平衡态，从而导致系统演化的多样性。

扩展资料：

神经网络的特点优点：

人工神经网络的特点和优越性，主要表现在三个方面：

第一，具有自学习功能。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预测、市场预测、效益预测，其应用前途是很远大的。

第二，具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。

第三，具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。

参考资料：

——人工神经网络

　　BP神经网络：BP 神经网络是一种神经网络学习算法。其由输入层、中间层、输出层组成的阶层型神经网络，中间层可扩展为多层。RBF（径向基）神经网络：径向基函数(RBF-Radial Basis Function)神经网络是具有单隐层的三层前馈网络。它模拟了人脑中局部调整、相互覆盖接收域的神经网络结构。感知器神经网络：是一个具有单层计算神经元的神经网络，网络的传递函数是线性阈值单元。主要用来模拟人脑的感知特征。线性神经网络：是比较简单的一种神经网络，由一个或者多个线性神经元构成。采用线性函数作为传递函数，所以输出可以是任意值。自组织神经网络：自组织神经网络包括自组织竞争网络、自组织特征映射网络、学习向量量化等网络结构形式。K近邻算法： K最近邻分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。

神经网络 ：神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。

神经网络中最基本的成分便是 神经元模型 。

M-P神经元模型：

感知机由两层神经元组成，分别为输入层、输出层。

以下是具体过程：

多层神经网络的拓扑结构如图：

如上图可知，多层网络由输入层、隐含层和输出层组成，顶层是输出层，底层是输入层，中间的便是隐含层。隐含层与输出层都具有功能神经元。

多层前馈神经网络的结构需要满足：

1、每层神经元必须与下一层完全互连

2、神经元之间不存在同层连接

3、神经元不可跨层连接

只需包含一个足够多神经元的隐层，就能以任意精度逼近任意复杂度的连续函数

BP神经网络由于学习能力太强大比较荣誉造成过拟合问题，故有两种策略来减缓过拟合的问题：

1、早停：将数据分成训练集和验证集，训练集学习，验证集评估性能，在训练过程中，若训练集的累积误差降低，而验证集的累积误差提高，则终止训练；

2、引入正则化：其基本思想是在误差目标函数中增加一个用于描述网络复杂程度的部分，有如连接权和阈值的平方和：

其中λ∈（0,1）用于对累积经验误差与网络复杂度这两项进行折中，常通过交叉验证法来估计。

神经网络的训练过程可看作一个参数寻优的过程，即寻找到适当的参数使得E最小。于是我们时常会谈及“全局最小”和“局部最小”。

1、全局最小：即全局最小解，在参数空间中，所有其他点的误差函数值均大于该点；

2、局部最小：即局部最小解，在参数空间中，其邻近的点的误差函数值均大于该点。

我们要达到局部极小点，很容易，只要满足梯度为零的点便是了，局部极小点可以有多个，但全局最小点只有一个。显然，我们追求的是全局最小，而非局部极小，于是人们通常采用以下策略来试图“跳出”局部极小，使其接近全局最小：

1、以多组不同参数值初始化多个神经网络，按标准方法训练，在迭代停止后，取其中误差最小的解作为最终参数；

2、使用随机梯度下降（在计算梯度时加入了随机因素），使得在局部最小时，计算的梯度仍可能不为0，从而可能跳出局部极小，继续进行迭代；

3、“模拟退火”技术，在每一步都以一定的概率接受比当前解更差的结果，但接受“次优解”的概率要随着迭代进行，时间推移而逐渐减低以确保算法的稳定。

1、RBF网络

单隐层前馈神经网络 ，使用径向基函数作为隐层神经元激活函数，输出层是对隐层神经元输出的线性组合。RBF网络可表示为：

2、ART网络

竞争型学习 （神经网络中一种常用的 无监督学习 策略）,由 比较层、识别层、识别阈值和重置模块 组成。接收到比较层的输入信号后，识别层神经元相互竞争以产生获胜神经元，最简单的方式就是计算输入向量与每个识别层神经元所对应的模式类代表向量间的距离，距离小者获胜。若获胜神经元对应的代表向量与输入向量间 相似度大于识别阈值 ，则将输入样本归为该代表向量所属类别，网络 连接权 也会进行 更新 以保证后面接收到相似的输入样本时该模式类会计算出更大的相似度，使得这样的样本能够归于一类；如果 相似度不大于识别阈值 ，则 重置模块 会在 识别层 加一个神经元，其 代表向量 就 设置 为当前 输入向量 。

3、SOM网络

竞争型学习的无监督神经网络 ，将高维输入数据映射到低维空间（通常是二维），且保持输入数据在高维空间的拓扑结构。

4、级联相关网络

结构自适应网络 。

5、Elman网络

递归神经网络 。

6、Boltzmann机

基于能量的模型，其神经元分为显层与隐层，显层用于数据输入输出，隐层被理解为数据的内在表达。其神经元皆为布尔型，1为激活，0为抑制。

理论上，参数越多的模型其复杂程度越高，能完成更加复杂的学习任务。但是复杂模型的训练效率低下，容易过拟合。但由于大数据时代、云计算，计算能力大幅提升缓解了训练效率低下，而训练数据的增加则可以降低过拟合风险。

于是如何增加模型的复杂程度呢？

1、增加隐层数；

2、增加隐层神经元数

如何有效训练多隐层神经网络？

1、无监督逐层训练：每次训练一层隐节点，把上一层隐节点的输出当作输入来训练，本层隐结点训练好后，输出再作为下一层的输入来训练，这称为预训练，全部预训练完成后，再对整个网络进行微调。“预训练+微调”即把大量的参数进行分组，先找出每组较好的设置，再基于这些局部最优的结果来训练全局最优；

2、权共享：令同一层神经元使用完全相同的连接权，典型的例子是卷积神经网络。这样做可以大大减少需要训练的参数数目。

深度学习 可理解为一种特征学习或者表示学习，是通过 多层处理 ，逐渐将初始的 低层特征表示 转化为 高层特征表示 后，用 简单模型 即可完成复杂的分类等 学习任务 。

神经网络 最早是由心理学家和神经学家提出的，旨在寻求开发和测试神经的计算模拟。

粗略地说， 神经网络 是一组连接的 输入/输出单元 ，其中每个连接都与一个 权 相关联。在学习阶段，通过调整权值，使得神经网络的预测准确性逐步提高。由于单元之间的连接，神经网络学习又称 连接者学习。

神经网络是以模拟人脑神经元的数学模型为基础而建立的，它由一系列神经元组成，单元之间彼此连接。从信息处理角度看，神经元可以看作是一个多输入单输出的信息处理单元，根据神经元的特性和功能，可以把神经元抽象成一个简单的数学模型。

神经网络有三个要素： 拓扑结构、连接方式、学习规则

神经网络的拓扑结构 ：神经网络的单元通常按照层次排列，根据网络的层次数，可以将神经网络分为单层神经网络、两层神经网络、三层神经网络等。结构简单的神经网络，在学习时收敛的速度快，但准确度低。

神经网络的层数和每层的单元数由问题的复杂程度而定。问题越复杂，神经网络的层数就越多。例如，两层神经网络常用来解决线性问题，而多层网络就可以解决多元非线性问题

神经网络的连接 ：包括层次之间的连接和每一层内部的连接，连接的强度用权来表示。

根据层次之间的连接方式，分为：

1）前馈式网络：连接是单向的，上层单元的输出是下层单元的输入，如反向传播网络，Kohonen网络

2）反馈式网络：除了单项的连接外，还把最后一层单元的输出作为第一层单元的输入，如Hopfield网络

根据连接的范围，分为：

1）全连接神经网络：每个单元和相邻层上的所有单元相连

2）局部连接网络：每个单元只和相邻层上的部分单元相连

神经网络的学习

根据学习方法分：

感知器：有监督的学习方法，训练样本的类别是已知的，并在学习的过程中指导模型的训练

认知器：无监督的学习方法，训练样本类别未知，各单元通过竞争学习。

根据学习时间分：

离线网络：学习过程和使用过程是独立的

在线网络：学习过程和使用过程是同时进行的

根据学习规则分：

相关学习网络：根据连接间的激活水平改变权系数

纠错学习网络：根据输出单元的外部反馈改变权系数

自组织学习网络：对输入进行自适应地学习

摘自《数学之美》对人工神经网络的通俗理解：

神经网络种类很多，常用的有如下四种：

1）Hopfield网络，典型的反馈网络，结构单层，有相同的单元组成

2）反向传播网络，前馈网络，结构多层，采用最小均方差的纠错学习规则，常用于语言识别和分类等问题

3）Kohonen网络：典型的自组织网络，由输入层和输出层构成，全连接

4）ART网络：自组织网络

深度神经网络：

Convolutional Neural Networks(CNN)卷积神经网络

Recurrent neural Network(RNN)循环神经网络

Deep Belief Networks(DBN)深度信念网络

深度学习是指多层神经网络上运用各种机器学习算法解决图像，文本等各种问题的算法集合。深度学习从大类上可以归入神经网络，不过在具体实现上有许多变化。

深度学习的核心是特征学习，旨在通过分层网络获取分层次的特征信息，从而解决以往需要人工设计特征的重要难题。

Machine Learning vs Deep Learning 

神经网络（主要是感知器）经常用于 分类

神经网络的分类知识体现在网络连接上，被隐式地存储在连接的权值中。

神经网络的学习就是通过迭代算法，对权值逐步修改的优化过程，学习的目标就是通过改变权值使训练集的样本都能被正确分类。

神经网络特别适用于下列情况的分类问题：

1) 数据量比较小，缺少足够的样本建立模型

2) 数据的结构难以用传统的统计方法来描述

3) 分类模型难以表示为传统的统计模型

缺点：

1) 需要很长的训练时间，因而对于有足够长训练时间的应用更合适。

2) 需要大量的参数，这些通常主要靠经验确定，如网络拓扑或“结构”。

3)  可解释性差 。该特点使得神经网络在数据挖掘的初期并不看好。

优点：

1) 分类的准确度高

2)并行分布处理能力强

3)分布存储及学习能力高

4)对噪音数据有很强的鲁棒性和容错能力

最流行的基于神经网络的分类算法是80年代提出的 后向传播算法 。后向传播算法在多路前馈神经网络上学习。 

定义网络拓扑

在开始训练之前，用户必须说明输入层的单元数、隐藏层数（如果多于一层）、每一隐藏层的单元数和输出层的单元数，以确定网络拓扑。

对训练样本中每个属性的值进行规格化将有助于加快学习过程。通常，对输入值规格化，使得它们落入00和10之间。

离散值属性可以重新编码，使得每个域值一个输入单元。例如，如果属性A的定义域为(a0,a1,a2)，则可以分配三个输入单元表示A。即，我们可以用I0 ,I1 ,I2作为输入单元。每个单元初始化为0。如果A = a0，则I0置为1；如果A = a1，I1置1；如此下去。

一个输出单元可以用来表示两个类（值1代表一个类，而值0代表另一个）。如果多于两个类，则每个类使用一个输出单元。

隐藏层单元数设多少个“最好” ，没有明确的规则。

网络设计是一个实验过程，并可能影响准确性。权的初值也可能影响准确性。如果某个经过训练的网络的准确率太低，则通常需要采用不同的网络拓扑或使用不同的初始权值，重复进行训练。

后向传播算法学习过程：

迭代地处理一组训练样本，将每个样本的网络预测与实际的类标号比较。

每次迭代后，修改权值，使得网络预测和实际类之间的均方差最小。

这种修改“后向”进行。即，由输出层，经由每个隐藏层，到第一个隐藏层（因此称作后向传播）。尽管不能保证，一般地，权将最终收敛，学习过程停止。

算法终止条件：训练集中被正确分类的样本达到一定的比例，或者权系数趋近稳定。

后向传播算法分为如下几步：

1) 初始化权

网络的权通常被初始化为很小的随机数（例如，范围从-10到10，或从-05到05）。

每个单元都设有一个偏置（bias），偏置也被初始化为小随机数。

2) 向前传播输入

对于每一个样本X，重复下面两步：

向前传播输入，向后传播误差

计算各层每个单元的输入和输出。输入层：输出=输入=样本X的属性；即，对于单元j，Oj = Ij = Xj。隐藏层和输出层：输入=前一层的输出的线性组合,即，对于单元j， Ij =wij Oi + θj，输出=

3) 向后传播误差

计算各层每个单元的误差。

输出层单元j，误差：

Oj是单元j的实际输出，而Tj是j的真正输出。

隐藏层单元j，误差：

wjk是由j到下一层中单元k的连接的权，Errk是单元k的误差

更新 权 和 偏差 ，以反映传播的误差。

权由下式更新：

 其中，△wij是权wij的改变。l是学习率，通常取0和1之间的值。

 偏置由下式更新：

  其中，△θj是偏置θj的改变。

Example

人类视觉原理：

深度学习的许多研究成果，离不开对大脑认知原理的研究，尤其是视觉原理的研究。1981 年的诺贝尔医学奖，颁发给了 David Hubel（出生于加拿大的美国神经生物学家） 和Torsten Wiesel，以及Roger Sperry。前两位的主要贡献，是“发现了视觉系统的信息处理”， 可视皮层是分级的 。

人类的视觉原理如下：从原始信号摄入开始（瞳孔摄入像素Pixels），接着做初步处理（大脑皮层某些细胞发现边缘和方向），然后抽象（大脑判定，眼前的物体的形状，是圆形的），然后进一步抽象（大脑进一步判定该物体是只气球）。

对于不同的物体，人类视觉也是通过这样逐层分级，来进行认知的：

在最底层特征基本上是类似的，就是各种边缘，越往上，越能提取出此类物体的一些特征（轮子、眼睛、躯干等），到最上层，不同的高级特征最终组合成相应的图像，从而能够让人类准确的区分不同的物体。

可以很自然的想到：可以不可以模仿人类大脑的这个特点，构造多层的神经网络，较低层的识别初级的图像特征，若干底层特征组成更上一层特征，最终通过多个层级的组合，最终在顶层做出分类呢？答案是肯定的，这也是许多深度学习算法（包括CNN）的灵感来源。

卷积神经网络是一种多层神经网络，擅长处理图像特别是大图像的相关机器学习问题。卷积网络通过一系列方法，成功将数据量庞大的图像识别问题不断降维，最终使其能够被训练。

CNN最早由Yann LeCun提出并应用在手写字体识别上。LeCun提出的网络称为LeNet，其网络结构如下：

这是一个最典型的卷积网络，由 卷积层、池化层、全连接层 组成。其中卷积层与池化层配合，组成多个卷积组，逐层提取特征，最终通过若干个全连接层完成分类。

CNN通过卷积来模拟特征区分，并且通过卷积的权值共享及池化，来降低网络参数的数量级，最后通过传统神经网络完成分类等任务。

降低参数量级：如果使用传统神经网络方式，对一张进行分类，那么，把的每个像素都连接到隐藏层节点上，对于一张1000x1000像素的，如果有1M隐藏层单元，一共有10^12个参数，这显然是不能接受的。

但是在CNN里，可以大大减少参数个数，基于以下两个假设：

1）最底层特征都是局部性的，也就是说，用10x10这样大小的过滤器就能表示边缘等底层特征

2）图像上不同小片段，以及不同图像上的小片段的特征是类似的，也就是说，能用同样的一组分类器来描述各种各样不同的图像

基于以上两个假设，就能把第一层网络结构简化

用100个10x10的小过滤器，就能够描述整幅上的底层特征。

卷积运算的定义如下图所示：

如上图所示，一个5x5的图像，用一个3x3的 卷积核 ：

   1　　0　　1

   0　　1　　0

   1　　0　　1

来对图像进行卷积 *** 作（可以理解为有一个滑动窗口，把卷积核与对应的图像像素做乘积然后求和），得到了3x3的卷积结果。

这个过程可以理解为使用一个过滤器（卷积核）来过滤图像的各个小区域，从而得到这些小区域的特征值。在实际训练过程中， 卷积核的值是在学习过程中学到的。

在具体应用中，往往有多个卷积核，可以认为， 每个卷积核代表了一种图像模式 ，如果某个图像块与此卷积核卷积出的值大，则认为此图像块十分接近于此卷积核。如果设计了6个卷积核，可以理解为这个图像上有6种底层纹理模式，也就是用6种基础模式就能描绘出一副图像。以下就是24种不同的卷积核的示例：

池化 的过程如下图所示：

可以看到，原始是20x20的，对其进行采样，采样窗口为10x10，最终将其采样成为一个2x2大小的特征图。

之所以这么做，是因为即使做完了卷积，图像仍然很大（因为卷积核比较小），所以为了降低数据维度，就进行采样。

即使减少了许多数据，特征的统计属性仍能够描述图像，而且由于降低了数据维度，有效地避免了过拟合。

在实际应用中，分为最大值采样（Max-Pooling）与平均值采样（Mean-Pooling）。

LeNet网络结构：

注意，上图中S2与C3的连接方式并不是全连接，而是部分连接。最后，通过全连接层C5、F6得到10个输出，对应10个数字的概率。

卷积神经网络的训练过程与传统神经网络类似，也是参照了反向传播算法

第一阶段，向前传播阶段：

a）从样本集中取一个样本(X,Yp)，将X输入网络；

b）计算相应的实际输出Op

第二阶段，向后传播阶段

a）计算实际输出Op与相应的理想输出Yp的差；

b）按极小化误差的方法反向传播调整权矩阵。

是一种定律。

径向基函数神经网络是一种三层前馈式神经网络，其中输入层和输出层由线性神经元组成。

隐层节点一般取高斯核函数，该核函数能对输入矢量产生局部响应，翰出节点对隐层节点的输出进行线性加权，从而实现输入空间到输出空间的映射，使整个网络达到分类和函数逼近的目的。

人工神经网络（Artificial Neural Network，即ANN ）是从信息处理角度对人脑神经元网络进行抽象，是20世纪80年代以来人工智能领域兴起的研究热点，其本质是一种运算模型，由大量的节点（或称神经元）之间相互联接构成，在模式识别、智能机器人、自动控制、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题，表现出了良好的智能特性。

人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统，它是在现代 神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。人工神经网络具有四个基本特征：

（1）非线性– 非线性关系是自然界的普遍特性，人工神经元处于激活或抑制二种不同的状态，这种行为在数学上表现为一种非线性

人工神经网络

关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。

（2）非局限性– 一个 神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征，而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。联想 记忆是非局限性的典型例子。

（3）非常定性 –人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息可以有各种变化，而且在处理信息的同时，非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。

（4）非凸性–一个系统的演化方向，在一定条件下将取决于某个特定的状态函数。例如 能量函数，它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值，故系统具有多个较稳定的平衡态，这将导致系统演化的多样性。

人工神经网络中，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。网络中处理单元的类型分为三类：输入单元、输出单元和隐单元。输入单元接受外部 世界的信号与数据；输出单元实现系统处理结果的输出；隐单元是处在输入和输出单元之间，不能

人工神经网络

由系统外部观察的单元。神经元间的连接权值反映了单元间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中。

总结:人工神经网络是一种非程序化、 适应性、大脑风格的信息处理 ，其本质是通过网络的变换和动力学行为得到一种并行分布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理功能。