新编自考“(00023)高等数学(工本)”命题考试须知
2007-1-23 15:32
1原高等数学(工本)大纲包括一元函数微积分、空间解析几何与向量代数、多元函数微积分、常微分方程和无穷级数等内容;而新大纲不包含一元函数微积分,只包含空间解析几何与向量代数、多元函数微积分、常微分方程和无穷级数等内容。
2在空间解析几何与向量代数部分:新大纲在二次曲面部分不含双曲面(包括单叶双曲面,双叶双曲面,和双曲抛物面)。
3在多元微分学部分,增加了方向导数和梯度的知识点;关于复合函数求导法则,要求从原来的“综合应用”改为“简单应用”。内容上明确了要求熟练掌握三种类型的复合函数一阶偏导数的求法;关于条件极值问题明确了要求会求多元函数在一个约束条件下的极值。
4在重积分这一章,关于重积分的应用只提出会用重积分计算面积、体积和物质曲面和空间物体的质量。去掉了原大纲中对求重心和转动惯量的要求。
5在曲线积分与曲面积分部分:新大纲没要求两类曲线积分之间的关系;新大纲要求会用高斯公式计算封闭曲面上对坐标的曲面积分。也增加了散度的内容,在曲线积分的应用方面除几何应用外,明确要求会利用曲线积分计算变力沿曲线作的功。
6在常微分方程部分,关于一阶微分方程的可解类型中明确提出了三类方程(包括可分离变量、齐次方程、和一阶线性微分方程)的解法,去掉了对贝努力方程、全微分方程的要求;
关于二阶常系数线性非齐次微分方程求特解的问题明确了只要求非齐次项,其中为实数,为次多项式时会确定特解的形式。
7在无穷级数这部分。关于莱布尼兹判别法只要求会用它判定交错级数的收敛性,不要求估计截断误差。关于函数的泰勒展开式要求熟记的马克劳林展开式,没要求熟记的马克劳林展开式。关于傅立叶级数要求求上以为周期的函数的傅立叶展开式和将上的函数展开成正弦级数或余弦级数,不要求将和上的函数展开成傅立叶级数和正弦级数或余弦级数。
考研数二会对以下内容进行考查:
第一章 函数、极限、连续
等价无穷小代换、洛必达法则、泰勒展开式
求函数的极限
函数连续的概念、函数间断点的类型
判断函数连续性与间断点的类型
第二章 一元函数微分学
导数的定义、可导与连续之间的关系
按定义求一点处的导数,可导与连续的关系
函数的单调性、函数的极值
讨论函数的单调性、极值
闭区间上连续函数的性质、罗尔定理、拉格朗日中值定理、柯西中值定理和泰勒定理微分中值定理及其应用
第三章 一元函数积分学
积分上限的函数及其导数
变限积分求导问题
有理函数、三角函数有理式、简单无理函数的积分
计算被积函数为有理函数、三角函数有理式、简单无理函数的不定积分和定积分
第四章 多元函数微积分学
隐函数、偏导数、全微分的存在性以及它们之间的因果关系
函数在一点处极限的存在性,连续性,偏导数的存在性,全微分存在性与偏导数的连续性的讨论与它们之间的因果关系
二重积分的概念、性质及计算
二重积分的计算及应用
第五章 常微分方程
一阶线性微分方程、齐次方程,微分方程的简单应用用微分方程解决一些应用问题
线性代数考点:
第一章 行列式
行列式的运算
计算抽象矩阵的行列式
第二章 矩阵
矩阵的运算
求矩阵高次幂等
矩阵的初等变换、初等矩阵
与初等变换有关的证命题
第三章 向量
向量组的线性相关及无关的有关性质及判别法
向量组的线性相关性
线性组合与线性表示
判定问量能否由向量组线性表示
第四章 线性方程组
齐次线性方程组的基础解系和通解的求法
求齐次线性方程组的基础解系、通解
第五章 矩阵的特征值和特征向量
实对称矩阵特征值和特征向量的性质,化为相似对角阵的方法有关实对称矩阵的问题
相似变换、相似矩阵的概念及性质
相似矩阵的判定及逆问题
第六章 二次型
二次型的概念
求二次型的矩阵和秩
合同变换与合同矩阵的概念
先修课程:一、课程性质和任务 《微积分》课程是我校各专业学生一门必修的重要基础理论课。通过本门课程的学习,要使学生获得《微积分》的基本理论和基本运算技能,为学习后续课程和进一步获得数学知识尊定基础。通过各个教学环节逐步培养学生具有抽象概括问题的能力、逻辑推理能力、空间想象能力、创造性思维能力和自学能力,还要特别注意培养学生具有比较熟练的运算能力和综合运用所学数学知识分析问题和解决问题的能力。二、教学内容和要求(一)函数、极限、连续 函数的概念、性质及表示法、数列极限、函数极限。无穷小和无穷大,无穷小与函数(数列)极限的关系,无穷小与无穷大的关系。函数(数列)极限的四则运算法则,极限的存在准则,两个重要极限,无穷小的比较,无穷小的阶。函数的连续性,函数的间断点及其间断点的分类,闭区间上连续函数的性质。(二)一元函数微分学 导数概念,导数的基本公式,导数的四则运算法则,隐函数的导数。由参数方程所确定的函数的导数,高阶导数,相关变化率问题。微分的概念,基本初等函数的微分公式,微分的运算法则,一阶微分形式不变性。函数的线性近似。中值定理、洛必达法则、泰勒公式以及导数的应用。(三)一元函数积分学 原函数与不定积分的概念,基本的积分方法,定积分的概念,定积分的换元法与分部积分法,两类广义积分,定积分的几何与物理应用,函数的平均值与均方根。(四)常微分方程 常微分方程的基本概念,一阶微分方程,可降阶的高阶方程,高阶线性微分方程,微分方程幂级数解法,常系数线性微分方程组解法举例,用微分方程解简单的几何与物理问题。(五)多元函数微分学 多元函数,偏导数与全微分,高阶偏导数,多元复合函数的高阶偏导数,隐函数求导公式(包括方程组的情形)二元函数的二阶泰勒公式,方向导数和梯度的概念及其计算。偏导数的应用,空间曲线的切线与法平面,曲面的切平面与法线,多元函数的极值及其求法,最大值、最小值问题,条件极值、拉格朗日乘数法。(六)多元数量值函数积分学 二重积分(直角坐标和极坐标)及其应用,三重积分(直角坐标、柱面坐标和球面坐标)及其应用,第一型曲线积分及其应用。第一型曲面积分及其应用,含参变量的积分。(七)多元向量值函数积分学 第二型曲线积分及其应用,两类曲线积分之间的关系;第二型曲面积分及其应用,两类曲面积分之间的关系。格林公式,高斯公式,斯托克斯公式,曲线积分与路径无关的条件,场论初步。(八)无穷级数 常数项级数的概念与性质,正项级数判敛,交错级数,莱布尼兹定理,绝对收敛和条件收敛。广义积分的审敛法, 函数项级数、幂级数、函数的泰勒级数收敛于该函数的充要条件,函数 、sinx、cosx、 、 的麦克劳林展开式,一些简单函数的直接展开法和间接展开法,幂级数在近似计算中的应用,欧拉公式,傅里叶级数。三、教材和参考资料 1.《微积分》上、下册,电子科技大学应用数学学院编 2.《微积分同步复习指导》,电子科技大学应用数学学院编 3.《高等数学》(上、下册),同济大学数学教研室编 4.《高等数学》(上、下册),西安交通大学数学教研推荐网址: http://20211521138/wlxt/jingpinaspcourseid=0007
高等数学考点:
第一章 函数、极限、连续
等价无穷小代换、洛必达法则、泰勒展开式
求函数的极限
函数连续的概念、函数间断点的类型
判断函数连续性与间断点的类型
第二章 一元函数微分学
导数的定义、可导与连续之间的关系
按定义求一点处的导数,可导与连续的关系
函数的单调性、函数的极值
讨论函数的单调性、极值
闭区间上连续函数的性质、罗尔定理、拉格朗日中值定理、柯西中值定理和泰勒定理微分中值定理及其应用
第三章 一元函数积分学
积分上限的函数及其导数
变限积分求导问题
有理函数、三角函数有理式、简单无理函数的积分
计算被积函数为有理函数、三角函数有理式、简单无理函数的不定积分和定积分
第四章 多元函数微积分学
隐函数、偏导数、全微分的存在性以及它们之间的因果关系
函数在一点处极限的存在性,连续性,偏导数的存在性,全微分存在性与偏导数的连续性的讨论与它们之间的因果关系
二重积分的概念、性质及计算
二重积分的计算及应用
第五章 常微分方程
一阶线性微分方程、齐次方程,微分方程的简单应用用微分方程解决一些应用问题
线性代数考点:
第一章 行列式
行列式的运算
计算抽象矩阵的行列式
第二章 矩阵
矩阵的运算
求矩阵高次幂等
矩阵的初等变换、初等矩阵
与初等变换有关的证命题
第三章 向量
向量组的线性相关及无关的有关性质及判别法
向量组的线性相关性
线性组合与线性表示
判定问量能否由向量组线性表示
第四章 线性方程组
齐次线性方程组的基础解系和通解的求法
求齐次线性方程组的基础解系、通解
第五章 矩阵的特征值和特征向量
实对称矩阵特征值和特征向量的性质,化为相似对角阵的方法有关实对称矩阵的问题
相似变换、相似矩阵的概念及性质
相似矩阵的判定及逆问题
第六章 二次型
二次型的概念
求二次型的矩阵和秩
合同变换与合同矩阵的概念
:
数学二主要是针对农、林、地、矿、油等专业的考生,适用的招生专业为:
(1)工学门类的纺织科学与工程、轻工技术与工程、农业工程、林业工程、食品科学与工程等一级学科中所有的二级学科专业。
(2)工学门类的材料科学与工程、化学工程与技术、地质资源与地质工程、矿业工程、石油与天然气工程、环境科学与工程等一级学科中对数学要求较高的二级学科专业。
参考资料:
2018考研大纲原文:数学二(版)-考研-中国教育在线
http://kaoyaneolcn/kao_shi_da_gang/shuxue/201709/t20170915_1554526_3shtml
多元函数泰勒公式考研考。
理解导数和微分的概念,理解导数与微分的关系,理解导数的几何意义,会求平面曲线的切线方程和法线方程,了解导数的物理意义,会用导数描述一些物理量,理解函数的可导性与连续性之间的关系。掌握导数的四则运算法则和复合函数的求导法则,掌握基本初等函数的导数公式。
本质
多元函数的本质是一种关系,是两个集合间一种确定的对应关系。这两个集合的元素可以是数;也可以是点、线、面、体;还可以是向量、矩阵等等。一个元素或多个元素对应的结果可以是唯一的元素,即单值的。也可以是多个元素,即多值的。人们最常见的函数,以及我国中学数学教科书所说的“函数”,除有特别注明者外,实际上(全称)是一元单值实变函数。
《高等数学》是大学中最为基础的一门课程。那么你对高等数学了解多少呢以下是由我整理关于高等数学基础知识的内容,希望大家喜欢!
高等数学基础知识
1、函数、极限与连续
重点考查极限的计算、已知极限确定原式中的未知参数、函数连续性的讨论、间断点类型的判断、无穷小阶的比较、讨论连续函数在给定区间上零点的个数、确定方程在给定区间上有无实根。
2、一元函数积分学
重点考查不定积分的计算、定积分的计算、广义积分的计算及判敛、变上限函数的求导和极限、利用积分中值定理和积分性质的证明、定积分的几何应用和物理应用。
3、一元函数微分学
重点考查导数与微分的定义、函数导数与微分的计算(包括隐函数求导)、利用洛比达法则求不定式极限、函数极值与最值、方程根的个数、函数不等式的证明、与中值定理相关的证明、在物理和经济等方面的实际应用、曲线渐近线的求法。
4、向量代数与空间解析几何(数一)
主要考查向量的运算、平面方程和直线方程及其求法、平面与平面、平面与直线、直线与直线之间的夹角,并会利用平面、直线的相互关系(平行、垂直、相交等))解决有关问题等,该部分一般不单独考查,主要作为曲线积分和曲面积分的基础。
5、多元函数微分学
重点考查多元函数极限存在、连续性、偏导数存在、可微分及偏导连续等问题、多元函数和隐函数的一阶、二阶偏导数求法、有条件极值和无条件极值。另外,数一还要求掌握方向导数、梯度、曲线的切线与法平面、曲面的切平面与法线。
6、多元函数积分学
重点考查二重积分在直角坐标和极坐标下的计算、累次积分、积分换序。此外,数一还要求掌握三重积分的计算、两类曲线积分和两种曲面积分的计算、格林公式、高斯公式及斯托克斯公式。
7、无穷级数(数一、数三)
重点考查正项级数的基本性质和敛散性判别、一般项级数绝对收敛和条件收敛的判别、幂级数收敛半径、收敛域及和函数的求法以及幂级数在特定点的展开问题。
8、常微分方程及差分方程
重点考查一阶微分方程的通解或特解、二阶线性常系数齐次和非齐次方程的特解或通解、微分方程的建立与求解。此外,数三考查差分方程的基本概念与一介常系数线形方程求解 方法 。数一还要求会伯努利方程、欧拉公式等。
高等数学 考研 知识一、高等数学考试内容包括:函数、极限、连续
考试要求
1、理解函数的概念
2、了解函数的有界性、单调性、周期性和奇偶性。
3、理解复合函数及分段函数的概念,了解反函数及隐函数的概念。
4、掌握基本初等函数的性质及其图形,了解初等函数的概念。
5、理解极限的概念,理解函数左极限与右极限的概念以及函数极限存在与左、右极限之间的关系。
6、掌握极限的性质及四则运算法则。
7、掌握极限存在的两个准则,并会利用它们求极限,掌握利用两个重要极限求极限的方法、
8、理解无穷小量、无穷大量的概念,掌握无穷小量的比较方法,会用等价无穷小量求极限。
9、理解函数连续性的概念(含左连续与右连续),会判别函数间断点的类型。
10、了解连续函数的性质和初等函数的连续性,理解闭区间上连续函数的性质(有界性、最大值和最小值定理、介值定理),并会应用这些性质。
二、一元函数微分学
考试要求
1、理解导数和微分的概念,理解导数与微分的关系,理解函数的可导性与连续性之间的关系。
2、掌握导数的四则运算法则和复合函数的求导法则,掌握基本初等函数的导数公式、了解微分的四则运算法则和一阶微分形式的不变性,会求函数的微分。
3、了解高阶导数的概念,会求简单函数的高阶导数。
4、会求分段函数的导数,会求隐函数和由参数方程所确定的函数以及反函数的导数。
5、理解并会用罗尔定理、拉格朗日中值定理和泰勒定理,了解并会用柯西中值定理。
6、掌握用洛必达法则求未定式极限的方法。
7、理解函数的极值概念,掌握用导数判断函数的单调性和求函数极值的方法,掌握函数最大值和最小值的求法及其应用。
8、会用导数判断函数图形的凹凸性(注:在区间 内,设函数 具有二阶导数。当 时, 的图形是凹的;当 时, 的图形是凸的),会求函数图形的拐点以及水平、铅直和斜渐近线,会描绘函数的图形。
9、了解曲率、曲率圆与曲率半径的概念,会计算曲率和曲率半径。
三、一元函数积分学
考试要求
1、理解原函数的概念,理解不定积分和定积分的概念。
2、掌握不定积分的基本公式,掌握不定积分和定积分的性质及定积分中值定理,掌握换元积分法与分部积分法。
3、会求有理函数、三角函数有理式和简单无理函数的积分。
4、理解积分上限的函数,会求它的导数,掌握牛顿-莱布尼茨公式。
5、了解反常积分的概念,会计算反常积分。
6、掌握用定积分表达和计算一些几何量与物理量(平面图形的面积、平面曲线的弧长、旋转体的体积及侧面积、平行截面面积为已知的立体体积、功、引力、压力、质心、形心等)及函数的平均值。
四、向量代数和空间解析几何
考试要求
1、理解空间直角坐标系,理解向量的概念及其表示。
2、掌握向量的运算(线性运算、数量积、向量积、混合积),了解两个向量垂直、平行的条件。
3、理解单位向量、方向数与方向余弦、向量的坐标表达式,掌握用坐标表达式进行向量运算的方法。
4、掌握平面方程和直线方程及其求法。
5、会求平面与平面、平面与直线、直线与直线之间的夹角,并会利用平面、直线的相互关系(平行、垂直、相交等)解决有关问题。
6、会求点到直线以及点到平面的距离。
7、了解曲面方程和空间曲线方程的概念。
8、了解常用二次曲面的方程及其图形,会求简单的柱面和旋转曲面的方程。
9、了解空间曲线的参数方程和一般方程、了解空间曲线在坐标平面上的投影,并会求该投影曲线的方程。
五、多元函数微分学
考试要求
1、理解多元函数的概念,理解二元函数的几何意义。
2、了解二元函数的极限与连续的概念以及有界闭区域上连续函数的性质。
3、理解多元函数偏导数和全微分的概念,会求全微分,了解全微分存在的必要条件和充分条件,了解全微分形式的不变性。
4、理解方向导数与梯度的概念,并掌握其计算方法。
5、掌握多元复合函数一阶、二阶偏导数的求法。
6、了解隐函数存在定理,会求多元隐函数的偏导数。
7、了解空间曲线的切线和法平面及曲面的切平面和法线的概念,会求它们的方程。
8、了解二元函数的二阶泰勒公式。
9、理解多元函数极值和条件极值的概念,并会解决一些简单的应用问题。
六、多元函数积分学
考试要求
1、理解二重积分、三重积分的概念,了解重积分的性质,了解二重积分的中值定理。
2、掌握二重积分的计算方法(直角坐标、极坐标),会计算三重积分(直角坐标、柱面坐标、球面坐标)。
3、理解两类曲线积分的概念,了解两类曲线积分的性质及两类曲线积分的关系。
4、掌握计算两类曲线积分的方法。
5、掌握格林公式并会运用平面曲线积分与路径无关的条件,会求二元函数全微分的原函数。
6、了解两类曲面积分的概念、性质及两类曲面积分的关系,掌握计算两类曲面积分的方法,掌握用高斯公式计算曲面积分的方法,并会用斯托克斯公式计算曲线积分。
7、了解散度与旋度的概念,并会计算。
8、会用重积分、曲线积分及曲面积分求一些几何量与物理量(平面图形的面积、体积、曲面面积、弧长、质量、质心、形心、转动惯量、引力、功及流量等)。
七、无穷级数
考试要求
1、理解常数项级数收敛、发散以及收敛级数的和的概念,掌握级数的基本性质及收敛的必要条件。
2、掌握几何级数与 级数的收敛与发散的条件。
3、掌握正项级数收敛性的比较判别法和比值判别法,会用根值判别法。
4、掌握交错级数的莱布尼茨判别法。
5、 了解任意项级数绝对收敛与条件收敛的概念。
6、了解函数项级数的收敛域及和函数的概念。
7、理解幂级数收敛半径的概念、并掌握幂级数的收敛半径、收敛区间及收敛域的求法。
8、会求一些幂级数在收敛区间内的和函数,并会由此求出某些数项级数的和。
9、了解函数展开为泰勒级数的充分必要条件。
10、掌握麦克劳林展开式,会用它们将一些简单函数间接展开成幂级数。
11、了解傅里叶级数的概念和狄利克雷收敛定理,会将定义在 上的函数展开为傅里叶级数,会将定义在 上的函数展开为正弦级数与余弦级数,会写出傅里叶级数的和函数的表达式。
八、常微分方程
考试要求
1、了解微分方程及其阶、解、通解、初始条件和特解等概念。
2、掌握变量可分离的微分方程及一阶线性微分方程的解法。
3、会解齐次微分方程、伯努利方程和全微分方程,会用简单的变量代换解某些微分方程、
4、会用降阶法解下列形式的微分方程。
5、理解线性微分方程解的性质及解的结构。
6、掌握二阶常系数齐次线性微分方程的解法,并会解某些高于二阶的常系数齐次线性微分方程。
7、会解自由项为多项式、指数函数、正弦函数、余弦函数以及它们的和与积的二阶常系数非齐次线性微分方程。
8、会解欧拉方程。
9、会用微分方程解决一些简单的应用问题。
Data Mining
无约束最优化方法
梯度的方向与等值面垂直,并且指向函数值提升的方向。
二次收敛是指一个算法用于具有正定二次型函数时,在有限步可达到它的极小点。二次收敛与二阶收敛没有尽然联系,更不是一回事,二次收敛往往具有超线性以上的收敛性。一阶收敛不一定是线性收敛。
解释一下什么叫正定二次型函数:
n阶实对称矩阵Q,对于任意的非0向量X,如果有XTQX>0,则称Q是正定矩阵。
对称矩阵Q为正定的充要条件是:Q的特征值全为正。
二次函数,若Q是正定的,则称f(X)为正定二次函数。
黄金分割法
黄金分割法适用于任何单峰函数求极小值问题。
求函数在[a,b]上的极小点,我们在[a,b]内取两点c,d,使得a<c<d<b。并且有
1)如果f(c)<f(d),则最小点出现在[a,d]上,因此[a,d]成为下一次的搜索区间。
2)如果f(c)>f(d),则[c,b]成为下一次的搜索区间。
假如确定了[a,d]是新的搜索区间,我们并不希望在[a,d]上重新找两个新的点使之满足(1)式,而是利用已经抗找到有c点,再找一个e点,使满足:
可以解得r=0382,而黄金分割点是0618。
练习:求函数f(x)=xx-10x+36在[1,10]上的极小值。
+ View Code
最速下降法
泰勒级数告诉我们:
其中Δx可正可负,但必须充分接近于0。
X沿D方向移动步长a后,变为X+aD。由泰勒展开式:
目标函数:
a确定的情况下即最小化:
向量的内积何时最小?当然是两向量方向相反时。所以X移动的方向应该和梯度的方向相反。
接下来的问题是步长a应该怎么定才能使迭代的次数最少?
若f(X)具有二阶连续偏导,由泰勒展开式可得:
H是f(X)的Hesse矩阵。
可得最优步长:
g是f(X)的梯度矩阵。
此时:
可见最速下降法中最优步长不仅与梯度有关,而且与Hesse矩阵有关。
练习:求函数f(x1,x2)=x1x1+4x2x2在极小点,以初始点X0=(1,1)T。
+ View Code
梯度下降法开始的几步搜索,目标函数下降较快,但接近极值点时,收敛速度就比较慢了,特别是当椭圆比较扁平时,收敛速度就更慢了。
另外最速下降法是以函数的一次近似提出的,如果要考虑二次近似,就有牛顿迭代法。
牛顿迭代法
在点Xk处对目标函数按Taylar展开:
令
得
即
可见X的搜索方向是,函数值要在此方向上下降,就需要它与梯度的方向相反,即。所以要求在每一个迭代点上Hesse矩阵必须是正定的。
练习:求的极小点,初始点取X=(0,3)。
+ View Code
牛顿法是二次收敛的,并且收敛阶数是2。一般目标函数在最优点附近呈现为二次函数,于是可以想像最优点附近用牛顿迭代法收敛是比较快的。而在开始搜索的几步,我们用梯度下降法收敛是比较快的。将两个方法融合起来可以达到满意的效果。
收敛快是牛顿迭代法最大的优点,但也有致命的缺点:Hesse矩阵及其逆的求解计算量大,更何况在某个迭代点Xk处Hesse矩阵的逆可能根本就不存在(即Hesse矩阵奇异),这样无法求得Xk+1。
拟牛顿法
Hesse矩阵在拟牛顿法中是不计算的,拟牛顿法是构造与Hesse矩阵相似的正定矩阵,这个构造方法,使用了目标函数的梯度(一阶导数)信息和两个点的“位移”(Xk-Xk-1)来实现。有人会说,是不是用Hesse矩阵的近似矩阵来代替Hesse矩阵,会导致求解效果变差呢?事实上,效果反而通常会变好。
拟牛顿法与牛顿法的迭代过程一样,仅仅是各个Hesse矩阵的求解方法不一样。
在远离极小值点处,Hesse矩阵一般不能保证正定,使得目标函数值不降反升。而拟牛顿法可以使目标函数值沿下降方向走下去,并且到了最后,在极小值点附近,可使构造出来的矩阵与Hesse矩阵“很像”了,这样,拟牛顿法也会具有牛顿法的二阶收敛性。
对目标函数f(X)做二阶泰勒展开:
两边对X求导
当X=Xi时,有
这里我们用Hi来代表在点Xi处的Hesse矩阵的逆,则
(5)式就是拟牛顿方程。
下面给出拟牛顿法中的一种--DFP法。
令
我们希望Hi+1在Hi的基础上加一个修正来得到:
给定Ei的一种形式:
m和n均为实数,v和w均为N维向量。
(6)(7)联合起来代入(5)可得:
下面再给一种拟牛顿法--BFGS算法。
(8)式中黑色的部分就是DFP算法,红色部分是BFGS比DFP多出来的部分。
BFGS算法不仅具有二次收敛性,而且只有初始矩阵对称正定,则BFGS修正公式所产生的矩阵Hk也是对称正定的,且Hk不易变为奇异,因此BFGS比DFP具有更好的数值稳定性。
SVM 是 Support Vector Machine 的简称,它的中文名为支持向量机,属于一种有监督的机器学习算法,可用于离散因变量的分类和连续因变量的预测。通常情况下,该算法相对于其他单一的分类算法(如 Logistic 回归、决策树、朴素贝叶斯、 KNN 等)会有更好的预测准确率,主要是因为它可以将低维线性不可分的空间转换为高维的线性可分空间。
“分割带”代表了模型划分样本点的能力或可信度,“分割带”越宽,说明模型能够将样本点划分得越清晰,进而保证模型泛化能力越强,分类的可信度越高;反之,“分割带”越窄,说明模型的准确率越容易受到异常点的影响,进而理解为模型的预测能力越弱,分类的可信度越低。
线性可分的 所对应的函数间隔满足 的条件,故 就等于 。所以,可以将目标函数 等价为如下的表达式:
假设存在一个需要最小化的目标函数 ,并且该目标函数同时受到 的约束。如需得到最优化的解,则需要利用拉格朗日对偶性将原始的最优化问题转换为对偶问题,即:
分割面的求解
分割面的表达式
对于非线性SVM模型而言,需要经过两个步骤,一个是将原始空间中的样本点映射到高维的新空间中,另一个是在新空间中寻找一个用于识别各类别样本点线性“超平面”。
假设原始空间中的样本点为 ,将样本通过某种转换 映射到高维空间中,则非线性SVM模型的目标函数可以表示为:
其中,内积 可以利用核函数替换,即 。对于上式而言,同样需要计算最优的拉格朗日乘积 ,进而可以得到线性“超平面” 与 的值:
假设原始空间中的两个样本点为 ,在其扩展到高维空间后,它们的内积 如果等于样本点 在原始空间中某个函数的输出,那么该函数就称为核函数。
线性核函数的表达式为 ,故对应的分割“超平面”为:
多项式核函数的表达式为 ,故对应的分割“超平面”为:
高斯核函数的表达式为 ,故对应的分割“超平面”为:
Sigmoid 核函数的表达式为 ,故对应的分割“超平面”为:
在实际应用中, SVM 模型对核函数的选择是非常敏感的,所以需要通过先验的领域知识或者交叉验证的方法选出合理的核函数。大多数情况下,选择高斯核函数是一种相对偷懒而有效的方法,因为高斯核是一种指数函数,它的泰勒展开式可以是无穷维的,即相当于把原始样本点映射到高维空间中。
output_13_0png
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)