简单介绍神经网络算法

直接简单介绍神经网络算法

神经元：它是神经网络的基本单元。神经元先获得输入，然后执行某些数学运算后，再产生一个输出。

神经元内输入 经历了3步数学运算，

先将两个输入乘以 权重 ：

权重 指某一因素或指标相对于某一事物的重要程度，其不同于一般的比重，体现的不仅仅是某一因素或指标所占的百分比，强调的是因素或指标的相对重要程度

x1→x1 × w1

x2→x2 × w2

把两个结果相加，加上一个 偏置 ：

（x1 × w1）+（x2 × w2）+ b

最后将它们经过 激活函数 处理得到输出：

y = f(x1 × w1 + x2 × w2 + b)

激活函数 的作用是将无限制的输入转换为可预测形式的输出。一种常用的激活函数是 sigmoid函数

sigmoid函数的输出 介于0和1，我们可以理解为它把 (−∞,+∞) 范围内的数压缩到 (0, 1)以内。正值越大输出越接近1，负向数值越大输出越接近0。

神经网络： 神经网络就是把一堆神经元连接在一起

隐藏层 是夹在输入输入层和输出层之间的部分，一个神经网络可以有多个隐藏层。

前馈 是指神经元的输入向前传递获得输出的过程

训练神经网络 ，其实这就是一个优化的过程，将损失最小化

损失 是判断训练神经网络的一个标准

可用 均方误差 定义损失

均方误差 是反映 估计量 与 被估计量 之间差异程度的一种度量。设t是根据子样确定的总体参数θ的一个估计量，(θ-t)2的 数学期望 ，称为估计量t的 均方误差 。它等于σ2+b2，其中σ2与b分别是t的 方差 与 偏倚 。

预测值 是由一系列网络权重和偏置计算出来的值

反向传播 是指向后计算偏导数的系统

正向传播算法 是由前往后进行的一个算法

作　者： 田景文，高美娟 著

出 版 社： 北京理工大学出版社

字　数： 381000

版　次： 1

纸　张： 胶版纸

I S B N ： 9787564007867

所属分类： 图书 >> 计算机/网络 >> 人工智能

定价：￥2800

内容简介

本书系统地介绍了神经网络、小波变换、模糊理论、遗传算法、模拟退火算法和支持向量机的基本理论、方法及各种方法的相互结合技术及其在油气勘探开发及其他领域的应用。主要内容包括：改进遗传算法的径向基函数网络方法研究及应用、小波变换及小波神经网络方法研究及应用、模糊神经网络方法研究及应用、改进的模拟退火人工神经网络方法研究及应用、支持向量机方法研究及应用。

本书主要基于作者近几年来的研究成果，注重理论联系实际，以多学科交叉、多种算法结合应用为特点。本书可作为高等院校自动控制、计算机应用、地球物理、油气勘探开发等专业的研究生教材或自学用书，也可作为相关领域的工程技术人员的参考书。

        大数据的核心是数据智能。数据智能的本质是在大量样本中发现、评估若干概念之间的关联性，归纳形成数学表达，再利用数学表达进行推理运算，从而完成对未知样本的判断决策。这就需要发现海量数据背后的规律，解决数据表征问题。数据智能先后经历了专家系统、传统机器学习和神经网络三个阶段，输入的知识从具体到抽象，从规则到特征再到模式，越来越宏观，智能化处理效率越来越高，对底层的感知和模型的可解释性越来越弱化。随着专家系统逐渐淡出，传统机器学习和神经网络成为数据智能的两大常见技术。实践证明，随着数据集样本的增多，传统机器学习的性能不及神经网络（见图一）。这主要归结于前者的表达能力不如后者。Goodfellow在2013年ICML（国际机器学习大会）上发表了论文《MaxoutNetworks》（最大输出网络）。在这篇论文中证明了MaxoutNetworks能够无限逼近任意连续函数。也即是说，神经网络能够拟合任意连续函数，与传统机器学习相比，神经网络具有突出的表达能力优势。

         （上图）：横轴代表数据量，纵轴代表算法精度     

        我们看到几个趋势：行业数据量指数级增长、以GPU为代表的专业芯片算力增长、新型算法层出不穷、学术界的前沿研究、投资界的资金投入、工商业的多种场景，这些因素都促进了神经网络快速发展。神经网络的发展形态有两种方向：一是以DNN深度全连接和CNN卷积神经网络为代表的纵向发展，即层数增多的纵向迭代，典型应用是CV计算机视觉；二是以RNN循环神经网络为代表的横向发展，即神经元之间的横向迭代，典型应用是以NLP自然语言理解为代表的序列处理。神经网络技术同时呈现两种发展形态，并在多个领域有广泛应用，就说明这个技术已经进入成熟期了。下一步往哪个方向发展？很有可能是：将纵向发展和横向发展进行结合，渗透到更多的应用领域。这看似顺水推舟的事情。事实证明，这个判断是正确的，图神经网络就是二者的结合。

        纵观技术圈的发展历史，可以总结出这样的事实：一个理论技术能否在更多的领域推广，关键取决于它能否真实地刻画现实世界的实体特征和关系。如果它刻画得越真实，那么它的应用场景就越多。比如马尔科夫链这个理论，就真实地刻画了现实世界中的时序对象的特征和依赖关系，因此它广泛应用在语音理解、机器翻译、国民经济、事件预测等领域；再如概率图理论，用图来表示事件概率的依存关系，也是真实刻画了现实世界中的实体关系，因此它也广泛应用在反欺诈、图像理解、事件预测等领域。从方法论看，要刻画现实世界的实体，就必须在模型中置入代表这个实体的节点，并且设计出实体之间的依赖关系转化。但无论是马尔科夫链还是概率图等方法，都弱化了嵌入表示，从而丢失了一些隐语义信息，是有缺憾的。

图神经网络（GraphNeural Networks，GNN）的问世，使事情出现了转机。在图神经网络中，存在两种网络。一种是拓扑结构网络，通常描述众多实体及其关系；另一种是特征变换神经网络，通常用于节点、边、图或子图的特征转化。前者完成信息横向传播，实现图信号的拓扑关系传递，理论依据是图论；后者完成信息纵向传播，实现原始特征向嵌入表示的转化，理论依据是深度学习。图神经网络是图论与深度学习的完美结合，它既考虑了实体关系，又考虑了实体特征。与传统图方法和传统深度学习相比，图神经网络具有明显的优势：建模来源数据更充分，更能反映现实世界中实体之间的真实关系，它既能从图结构代表的非欧式空间数据中学习到语义表示，又能让学习到的语义表示最大限度地符合图结构的实体关系。

        现实世界中80%以上的数据更适合用图结构来刻画，比如交通数据、社交数据、分子结构数据、行业经济数据等。图神经网络能适应这样的数据，在分布式学习架构下，图神经网络能处理的数据规模非常庞大，非常适合处理数亿节点的产业数据。因此图神经网络的应用场景更为广泛。近三年来，各种国际顶会关于图神经网络的论文频频发布，众多互联网科技公司（如阿里、百度、字节跳动）花重金在这一领域布局，并取得重大进展，广泛应用于关联搜索、实时推荐、风险防控、异常检测、行为预测、模式识别等。这些现象无疑说明了图神经网络是未来技术发展的重要领域方向。

        综上所述，在行业数据、算法理论、算力支持、市场需求、资本涌入等背景下，图神经网络的迅速崛起是大数据时代发展的必然。

　　神经网络（Neural Networks,NN）是由大量的、简单的处理单元（称为神经元）广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学习系统。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学能力，特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。神经网络的发展与神经科学、数理科学、认知科学、计算机科学、人工智能、信息科学、控制论、机器人学、微电子学、心理学、光计算、分子生物学等有关，是一门新兴的边缘交叉学科。

　　神经网络的基础在于神经元。

　　神经元是以生物神经系统的神经细胞为基础的生物模型。在人们对生物神经系统进行研究，以探讨人工智能的机制时，把神经元数学化，从而产生了神经元数学模型。

　　大量的形式相同的神经元连结在—起就组成了神经网络。神经网络是一个高度非线性动力学系统。虽然，每个神经元的结构和功能都不复杂，但是神经网络的动态行为则是十分复杂的；因此，用神经网络可以表达实际物理世界的各种现象。

　　神经网络模型是以神经元的数学模型为基础来描述的。人工神经网络(ArtificialNuearlNewtokr)s,是对人类大脑系统的一阶特性的一种描。简单地讲,它是一个数学模型。神经网络模型由网络拓扑．节点特点和学习规则来表示。神经网络对人们的巨大吸引力主要在下列几点：

　　1．并行分布处理。

　　2．高度鲁棒性和容错能力。

　　3．分布存储及学习能力。

　　4．能充分逼近复杂的非线性关系。

　　在控制领域的研究课题中，不确定性系统的控制问题长期以来都是控制理论研究的中心主题之一，但是这个问题一直没有得到有效的解决。利用神经网络的学习能力，使它在对不确定性系统的控制过程中自动学习系统的特性，从而自动适应系统随时间的特性变异，以求达到对系统的最优控制；显然这是一种十分振奋人心的意向和方法。

　　人工神经网络的模型现在有数十种之多，应用较多的典型的神经网络模型包括BP神经网络、Hopfield网络、ART网络和Kohonen网络。