如何用矩母函数来证明中心极限定理

林德伯格中心极限定理的证明

中心极限定理：概率论中关于独立的随机变量序列的部分和的分布渐近于正态分布的一类定理，是概率论中最重要的一类定理，有广泛的实际应用背景，常见的是关于独立同分布随机变量之和的中心极限定理，即林德伯格列维定理。

林德伯格列维定理: 设为独立同分布的随机变量序列，且。令=，那么当时，随机变量依分布收敛于服从标准正态分布的随机变量，即

引理（特征函数的定义及性质）

随机变量的特征函数；

独立随机变量和的特征函数等于每个随机变量特征函数的乘积。

证明：用特征函数来证明。

令，于是有：独立同分布，且。

设的特征函数为 (正态随机变量的概率密度函数)，则的特征函数为，当，有，则可以将在点附近泰勒展开。

，对于，易知，，所以代入上式，得然后令，有

，由于正好是服从标准正态分布的随机变量的特征函数，即的特征函数收敛于标准正态分布随机变量的特征函数，所以由特征函数理论可得知，的分布函数弱收敛于（依分布收敛于）标准正态分布随机变量的分布函数，即

随机变量

证毕。

一阶原点矩就是数学期望，数学期望(mean)（或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和，是最基本的数学特征之一。它反映随机变量平均取值的大小。

二阶中心矩，也叫作方差，它告诉我们一个随机变量在它均值附近波动的大小，方差越大，波动性越大。方差也相当于机械运动中以重心为转轴的转动惯量。三阶中心矩告诉我们一个随机密度函数向左或向右偏斜的程度。

方差不仅仅表达了样本偏离均值的程度，更是揭示了样本内部彼此波动的程度，也可以理解为方差代表了样本彼此波动的期望。当然，这个结论目前是在二阶统计矩下成立。

扩展资料

中心矩则类似于方差，先要得出样本的期望即均值，然后计算出随机变量到样本均值的一种距离，与方差不同的是，这里所说的距离不再是平方就能构建出来的，而是k次方。

方差是和中心偏离的程度，用来衡量一批数据的波动大小（即这批数据偏离平均数的大小）并把它叫做这组数据的方差，记作S2。 在样本容量相同的情况下，方差越大，说明数据的波动越大，越不稳定。

-原点矩

-矩阵

大偏差技术旨在对稀有事件的概率做指数型的渐进估计。大偏差原理的框架最早由Abel奖得主 Varadhan 于1966年引入，我们如今沿用的记号和定义即是 Varadhan 当初所提出的。但大偏差技术的雏形要更早，可以追溯到 Cramer 关于独立同分布随机变量列的样本均值尾概率估计的工作。

继大偏差的框架被引入之后，上世纪七八十年代， Donsker-Varadhan 提出了关于马氏过程经验测度的大偏差， Freidlin-Wentzell 提出了含随机扰动系统的轨道大偏差。这两大辉煌成就，让大偏差原理迅速成为概率论的主流分支之一。

如今常见的大偏差原理有3类：

level 1：随机变量列的大偏差（ Cramer’s Theorem，Gartner-Ellis' Theorem ）

level 2：马氏过程经验测度的大偏差（ Sanov's Theorem ）

level 3：带扰动系统的轨道大偏差（ Schilder's Theorem ）

大偏差技术最初由 Harald Cramer 于1944年提出， Cramer 利用随机变量对数矩母函数的 Fenchel-Legendre 变换，给出了独立同分布情形下样本均值小于某个常数c（c严格小于总体均值）的概率的指数型控制。

具体而言， Cramer 给出了对样本均值尾概率的指数型控制：

其中 被称为速率函数，它是对数矩母函数 的 Fenchel-Legendre 对合，即 。

由于对数矩母函数是凸函数，且 Fenchel-Legendre 保凸，故 凸。

Cramer 原理的证明十分简单，只需应用 Chebyshev 不等式，取辅助函数为指数函数 ,再在右侧对t取上确界即可。

列举几个常用分布的对数矩母函数和速率函数：

1）两点分布

2）泊松分布

3）正态分布

4）指数分布

Freidlin-Wentzell 关于轨道大偏差最早的工作是1979年出版的《Random Perturbations of Dynamical Systems》。在文中他们研究了含有小随机扰动的动力系统，对其样本轨道的收敛速率做了刻画。具体来说，随着噪声 的减小，样本轨道收敛于确定性轨道的速率关于 是指数型的。

大偏差的用途广泛，业已成为应用概率中一个极活跃的分支。它能估计假设检验中犯错误的渐进概率，估计随机系统的逸出概率和相对于确定性轨道有偏离的概率。大偏差对稀有事件概率的精确刻画，使得我们能够更精细地更定量地描述渐进行为，从而提高统计和计算方法的精度及效率。大偏差技术还被用于金融风险管理。对一个公司而言，可能导致破产的稀有事件比大概率收益多少要更加重要。

本文拟使用大偏差原理结合 Girsanov 测度变换，改进路径依赖期权定价的 Monte Carlo 方法。我们由此将发现，在统计模拟中，一个关于稀有事件概率的先验估计对于计算效率的重要性。

下面我们就几个具体情形简述大偏差的应用：

1）

无论是随机变量的取值集合，还是经验测度的取值集合，抑或是 区间上样本轨道的集合，样本落在这些集合中便可被视为一个事件。当该集合不含最终收敛到的点、测度或轨道时， 便是一个稀有事件，拥有指数型的渐进概率。

首先介绍 Varadhan 引入的大偏差框架，3个level的大偏差在这种描述下拥有统一的定义：

大偏差原理是概率测度族所满足的一种性质。具体来说，测度族 满足以 为速率函数的大偏差原理是指：

1）

2）

2'）

3）

4）

(1)(2)(2')是对速率函数的要求，(3)(4)分别为大偏差的上、下界估计。若速率函数 满足(2')，则称其为好速率函数（good rate function）。对于一个好速率函数 ，存在 ，使得 。

在随机变量列或离散状态马氏链的情形，(3)(4)有更常见的写法：

3’）

4’）

由于(3)和(4)，我们可以对 上的 集 的渐进概率做出上下界估计:

当 时， ，称 为 连续集，此时事件 的渐进概率可以由LDP得到精确刻画。

独立同分布情形下，经验测度收敛于先验测度。我们只考虑离散状态随机变量。设 是一列离散独立同分布的随机变量，状态空间为 。定义 ，那么 也是一列独立同分布随机向量。有 上的 Cramer 原理，其对数矩母函数：

计算得其速率函数： ， 称为相对熵，又叫Kullback-Liebler散度，它衡量了两个分布之间的差异，在这里衡量了经验测度 于先验测度 之间的差异。两个测度差异越小，相对熵也越小。 ，当且仅当 时取等。 是关于 的凸函数。

对于遍历的马氏链而言，其经验测度仍收敛于平稳分布的先验测度。此时仍有经验测度的大偏差原理，称作Sanov's Theorem。由上所述，独立同分布条件下的Sanov's Theorem可看作 上Cramer原理的推论。

    设随机变量X取非负整数值，对应的分布列为P(X=k)=pk,k=0,1,2；则称 为X的母函数。   

    易知， 时，上述级数一致收敛且绝对收敛。

    ①    唯一性：母函数与分布函数相互决定。

    ②    数字特征：利用母函数可以求得数字特征。

            

            

    设随机变量X的分布函数为 ,则称

     为X的特征函数。

    ①    

    ②    特征函数在定义域上一直连续

    ③    特征函数非负

    ④    随机变量之和的特征函数，为各自特征函数之积（避免卷积）

    ⑤    设随机变量X的n阶矩存在，则特征函数可以微分n次，且

            

    ⑥    唯一性，特征函数与分布函数一一对应