高斯过程的二维概率密度怎么求

多维高斯分布的概率密度函数。

多维变量X=x1，x2，xnX=x_1，x_2，x_nX=x1，x2，xn的联合概率，其中：d：变量维度。对于二维高斯分布，有d=2，u=u1u2，unu=u_1u_2，u_nu=u1u2，un：各位变量的均值。协方差矩阵，描述各维变量之间的相关度。

高斯过程是一种非参数建模方法，试图寻找与观测数据点相一致的所有可能函数的分布。

高斯过程（Gaussian Process。GP）是概率论和数理统计中随机过程（stochastic process）的一种，是一系列服从正态分布的随机变量（random variable）在一指数集（index set）内的组合。

高斯过程中任意随机变量的线性组合都服从正态分布，每个有限维分布都是联合正态分布，且其本身在连续指数集上的概率密度函数即是所有随机变量的高斯测度，因此被视为联合正态分布的无限维广义延伸。高斯过程由其数学期望和协方差函数完全决定，并继承了正态分布的诸多性质。

高斯过程的例子

高斯过程的例子包括维纳过程、奥恩斯坦-乌伦贝克过程等。

对高斯过程进行建模和预测是机器学习、信号处理等领域的重要内容，其中常见的模型包括高斯过程回归（Gaussian Process Regression，GPR）和高斯过程分类（Gaussian Process Classification，GPC）。

高斯过程的命名来自德国数学家卡尔·弗里德里希·高斯（Carl Friedrich Gauss）以纪念其提出正态分布概念。

正态分布是高斯概率分布。高斯概率分布是反映中心极限定理原理的函数，该定理指出当随机样本足够大时，总体样本将趋向于期望值并且远离期望值的值将不太频繁地出现。高斯积分是高斯函数在整条实数线上的定积分。这三个主题，高斯函数、高斯积分和高斯概率分布是这样交织在一起的，所以我认为最好尝试一次性解决这三个主题（但是我错了，这是本文的不同主题）。本篇文章我们首先将研究高斯函数的一般定义是什么，然后将看一下高斯积分，其结果对于确定正态分布的归一化常数是非常必要的。最后我们将使用收集的信息理解，推导出正态分布方程。

正态分布

normal distribution

一种概率分布正态分布是具有两个参数μ和σ2的连续型随机变量的分布,第一参数μ是遵从正态分布的随机变量的均值,第二个参数σ2是此随机变量的方差,所以正态分布记作N(μ,σ2 )遵从正态分布的随机变量的概率规律为取 μ邻近的值的概率大 ,而取离μ越远的值的概率越小；σ越小,分布越集中在μ附近,σ越大,分布越分散正态分布的密度函数的特点是：关于μ对称,在μ处达到最大值,在正（负）无穷远处取值为0,在μ±σ处有拐点它的形状是中间高两边低 ,图像是一条位于x轴上方的钟形曲线当μ＝0,σ2 ＝1时,称为标准正态分布,记为N（0,1）μ维随机向量具有类似的概率规律时,称此随机向量遵从多维正态分布多元正态分布有很好的性质,例如,多元正态分布的边缘分布仍为正态分布,它经任何线性变换得到的随机向量仍为多维正态分布,特别它的线性组合为一元正态分布

正态分布最早由A棣莫弗在求二项分布的渐近公式中得到CF高斯在研究测量误差时从另一个角度导出了它PS拉普拉斯和高斯研究了它的性质

生产与科学实验中很多随机变量的概率分布都可以近似地用正态分布来描述例如,在生产条件不变的情况下,产品的强力、抗压强度、口径、长度等指标；同一种生物体的身长、体重等指标；同一种种子的重量；测量同一物体的误差；d着点沿某一方向的偏差；某个地区的年降水量；以及理想气体分子的速度分量,等等一般来说,如果一个量是由许多微小的独立随机因素影响的结果,那么就可以认为这个量具有正态分布（见中心极限定理）从理论上看,正态分布具有很多良好的性质 ,许多概率分布可以用它来近似；还有一些常用的概率分布是由它直接导出的,例如对数正态分布、t分布、F分布等

正态分布应用最广泛的连续概率分布,其特征是“钟”形曲线

1正态分布

若 的密度函数（频率曲线）为正态函数（曲线）

(3-1)

则称 服从正态分布,记号 其中 、 是两个不确定常数,是正态分布的参数,不同的 、不同的 对应不同的正态分布

正态曲线呈钟型,两头低,中间高,左右对称,曲线与横轴间的面积总等于1

2．正态分布的特征

服从正态分布的变量的频数分布由 、 完全决定

(1) 是正态分布的位置参数,描述正态分布的集中趋势位置正态分布以 为对称轴,左右完全对称正态分布的均数、中位数、众数相同,均等于

(2) 描述正态分布资料数据分布的离散程度,越大,数据分布越分散,越小,数据分布越集中也称为是正态分布的形状参数,越大,曲线越扁平,反之,越小,曲线越瘦高

(二)标准正态分布

1．标准正态分布是一种特殊的正态分布,标准正态分布的 ,,通常用 （或Z）表示服从标准正态分布的变量,记为 N（0,）

2．标准化变换：,此变换有特性：若 服从正态分布 ,则 就服从标准正态分布,故该变换被称为标准化变换

3标准正态分布表

标准正态分布表中列出了标准正态曲线下从-∞到 范围内的面积比例

（三）正态曲线下面积分布

1．实际工作中,正态曲线下横轴上一定区间的面积反映该区间的例数占总例数的百分比,或变量值落在该区间的概率（概率分布）不同 范围内正态曲线下的面积可用公式3-2计算

（3-2）

2几个重要的面积比例

轴与正态曲线之间的面积恒等于1正态曲线下,横轴区间 内的面积为6827%,横轴区间 内的面积为9000%,横轴区间 内的面积为9500%,横轴区间 内的面积为9900%

（四）正态分布的应用

某些医学现象,如同质群体的身高、红细胞数、血红蛋白量,以及实验中的随机误差,呈现为正态或近似正态分布；有些指标（变量）虽服从偏态分布,但经数据转换后的新变量可服从正态或近似正态分布,可按正态分布规律处理其中经对数转换后服从正态分布的指标,被称为服从对数正态分布

1估计频数分布 一个服从正态分布的变量只要知道其均数与标准差就可根据公式（3-2）估计任意取值 范围内频数比例

2制定参考值范围

（1）正态分布法 适用于服从正态（或近似正态）分布指标以及可以通过转换后服从正态分布的指标

（2）百分位数法 常用于偏态分布的指标表3-1中两种方法的单双侧界值都应熟练掌握

表3-1 常用参考值范围的制定

概率

（%） 正态分布法 百分位数法

双侧 单 侧 双侧 单侧

下 限 上 限 下 限 上 限

90

95

99

3质量控制：为了控制实验中的测量（或实验）误差,常以 作为上、下警戒值,以 作为上、下控制值这样做的依据是：正常情况下测量（或实验）误差服从正态分布

4正态分布是许多统计方法的理论基础检验、方差分析、相关和回归分析等多种统计方法均要求分析的指标服从正态分布许多统计方法虽然不要求分析指标服从正态分布,但相应的统计量在大样本时近似正态分布,因而大样本时这些统计推断方法也是以正态分布为理论基础的

高斯分布，也称正态分布，又称常态分布。对于随机变量X，其概率密度函数如图所示。称其分布为高斯分布或正态分布，记为N（μ，σ2），其中为分布的参数，分别为高斯分布的期望和方差。当有确定值时，p(x)也就确定了，特别当μ=0，σ2=1时，X的分布为标准正态分布。μ正态分布最早由棣莫佛于1730年在求二项分布的渐近公式时得到；后拉普拉斯于1812年研究极限定理时也被引入；高斯（Gauss）则于1809年在研究误差理论时也导出了它。高斯分布的函数图象是一条位于x轴上方呈钟形的曲线，称为高斯分布曲线，简称高斯曲线

正态分布是高斯概率分布。高斯概率分布是反映中心极限定理原理的函数，该定理指出当随机样本足够大时，总体样本将趋向于期望值并且远离期望值的值将不太频繁地出现。高斯积分是高斯函数在整条实数线上的定积分。这三个主题，高斯函数、高斯积分和高斯概率分布是这样交织在一起的，所以我认为最好尝试一次性解决这三个主题（但是我错了，这是本篇文章的不同主题）。本篇文章我们首先将研究高斯函数的一般定义是什么，然后将看一下高斯积分，其结果对于确定正态分布的归一化常数是非常必要的。最后我们将使用收集的信息理解，推导出正态分布方程。

首先，让我们了解高斯函数实际上是什么。高斯函数是将指数函数 exp(x) 与凹二次函数（例如 -(ax^2+bx+c) 或 -(ax^2+bx) 或只是-ax^2组成的函数。结果是一系列呈现“钟形曲线”的形状的函数。

两个高斯函数的图。第一个高斯(绿色)的λ=1和a=1。第二个(橙色)λ=2和a=15。两个函数都不是标准化的。也就是说，曲线下的面积不等于1。

大多数人都熟悉这类曲线是因为它们在概率和统计中被广泛使用，尤其是作为正态分布随机变量的概率密度函数。在这些情况下，函数具有的系数和参数既可以缩放“钟形”的振幅，改变其标准差(宽度)，又可以平移平均值，所有这一切都是在曲线下的面积进行归一化(缩放钟形，使曲线下的面积总是等于1)的同时进行的。结果是一个高斯函数包含了一大堆的参数来影响这些结果。

如果将其认为是均值 = μ 且标准差 = σ 的正态分布方程。将其与高斯 λ exp(-ax^2) 的一般形式进行比较，我们可以看到：

前导系数 λ 有时表示为 1/Z，其中 Z=√2πσ 2，正是这样的一个结果将我们带到了本文的主要观点之一：√2πσ 2有时被称为一个自变量的正态分布的归一化常数，而1/√2πσ2则被称为归一化常数。在这两种情况下，公式中都有 π，它是从哪里来的？它通常与圆、径向对称和/或极坐标相关联。单个变量的函数如何以 π 作为其在前导系数中的归一化参数之一呢？

可以参考我们以前的文章，里面有非常详细的描述

不定积分 ∫ exp(x^2) dx 不可能用初等函数求解。有没有任何积分方法可以用来求解不定积分？

可以计算定积分，如上所述，首先对高斯函数求平方从而在 x 和 y 中产生一个具有径向对称二维图的两个变量函数。这样能够将直角坐标系转换为极坐标，在此基础上就可以使用更熟悉的积分方法（例如置换）进行积分。然后，简单地取结果的平方根（因为我们在开始时对积分进行平方） 就得到了我们的答案，顺便说一句，结果是是√π。

方法的第一步是对积分求平方——也就是说，我们将一维转换为二维，这样就可以使用多变量微积分的技术来求解积分

可以重写为：

这两个积分用x和y表示是等价的;所以它等同于x的单个积分的平方。因为变量x和y是独立的，所以可以把它们移进或移出第二个积分符号，可以这样写:

如果你不熟悉如何解二重积分也不用担心。只需先使用内部变量进行积分得到单个积分。然后用左边的变量和外面的变量积分。但现在还不需要这么做。这里需要注意的是当我们对积分进行平方时，得到了一个二维的图形化的径向对称的高斯函数。用x和y来表示积分e的指数是- (x 2+y 2)给了我们下一步应该做什么的线索。

这里棘手的部分是，我们必须将直角坐标下的二重积分转换成极坐标下的二重积分。

为了在极坐标中对整个无限区域进行积分，我们首先对 exp(−r²) 相对于从 x=0 开始并延伸到无穷大的半径 r 进行积分。结果是一个无限薄的楔形，看起来像我们原始一维高斯曲线的一半。然后我们围绕旋转轴 Z 轴旋转楔形，并累积无限数量的这些极薄的楔形。也就是说——我们在 π 从 0 到 2π 时积分。

我们现在的二重积分看起来像这样:

我们可以用 r^2 替换指数中的 −(x 2+y 2)，这要感谢毕达哥拉斯。但是我们仍然需要将我们的微分从矩形转换为极坐标。

微分的转换简单的表示如下：

在任何情况下，我们的二重积分现在看起来像这样:

添加适当的积分边界:

如果我们设u=r^2，那么du=2r，我们可以写成(对于内积分)

然后求出外积分:

所以:

我们在下一节求解标准化常数时，这个结果很重要。

现在我们有了推导正态分布函数的所有前提。下面将分两步来做：首先确定我们需要的概率密度函数。这意味着以λ为单位重新转换-a-产生的函数，无论为λ选择什么值，曲线下的面积总是1。然后用随机变量的方差σ^2来转换λ。对整个实数线上的方差进行积分 从而得到我们在前导系数 √2πσ^2 中需要归一化常数的项，也是我们在分母中需要的项指数 2σ^2。我们将使用分部积分来求解方差积分。

我们将从广义高斯函数f(x)=λ exp(−ax^2)开始，正态分布下的面积必须等于1所以我们首先设置广义高斯函数的值，对整个实数线积分等于1

这里将 -a- 替换为 a^2 稍微修改了高斯分布。为什么要这样做？因为它可以使用 换元积分 U-substitution 来解决这个积分。为什么我们可以这样做？因为 -a- 是一个任意常数，所以a^2 也只是一个任意常数，可以使用 U-substitution 求解。让 u=ax 和 du=a dx 这意味着 dx=du/a， 由于 λ 和 1/a 是常数，我们可以将它们移到积分符号之外，得到：

我们从上面关于高斯积分的讨论中知道，右边积分的值等于√π。这样就可以改成：

求解 -a- 可以这样写：

根据已经发现的λ 和 -a- 之间的关系，修改后的高斯下的面积总是等于 1 也是必须的，所以我们可以进一步修改，用 πλ^2 代替 a^2 并写：

无论 λ 的值如何，该曲线下的面积始终为 1。这是我们的概率密度函数。

在获得归一化概率分布函数之前还需要做一件事：必须将 λ 重写为随机变量方差 σ^2 的函数。这将涉及对整个实数线的方差表达式进行积分所以需要采用按分部积分来完成此 *** 作。

如果给定一个概率密度函数 f(x) 和一个均值 μ，则方差定义为从均值平方(x - μ)^2的偏差乘以整个实数线的概率密度函数f(x)的积分:

假设μ=0，因为已经有了概率密度函数h(x)，所以可以写成

用分部积分法求解这个积分有:

第一项归零是因为指数中的x^2项比前一项分子中的- x项趋近于∞的速度快得多所以我们得到

右边的被积函数是概率密度函数，已经知道当对整个实数线进行积分时它的值是1 :

求解 λ 得到：

将 λ 的 1/√2πσ^2 代入我们的修改后的公式（即我们的概率密度函数），我们得到：

剩下要做的就是将平均值 μ 放入指数的分子中，以便可以根据 μ 的值沿 x 轴平移图形：

这样就完成了方程推导

https://wwwoverfitcn/post/ead43bb483024034bd397d6fc63b53eb

作者 ：Manin Bocss