似然函数

似然函数在形式上，其实就是样本的联合密度。

把x1，x2，x3，．．．．．，xn看作常数，而把待定参数θ0，θ2，．．．．．，θn看作 L 的自变量。

对连续型总体X 和 离散型随机变量X，样本的似然函数分别是概率密度 和 分布率的连城形式。

极大似然估计法的基本思想：在OLS估计中，我们假定一个单一总体的参数是确定的。

这个总体可以生成大量的随机样本，我们所用的样本不过是其中的一个。

总之，在假设的重复抽样过程中会产生大量的样本，因而可以产生总体参数的大量样本估计值。

极大似然估计法(Maximum Likelihood Estimation，MLE)需要对随机扰动项的分布做出假定，通常选择正态分布假定。

在极大似然估计中，假定样本是固定的，竹个观测值都是独立观测的，这个样本可由各种不同的总体生成，而每个样本总体都有自己的参数。

那么在可供选择的总体中，哪个总体最可能生成所观测到的n个样本值? 为此需要估计每个可能总体取得这n个观测值的联合概率，选择其参数能使观测样本的联合概率最大的那个总体。

最大似然法，在二十世纪二十年代初，由费歇(R，A，Fisher l890—1962)发明的最大似然法(maximum likelihood method)是在所有估计问题中应用范围最广，并且可以从理论上证明由此得到的估计量具有几个理想的特性的方法( 见下面说明)。

它可以说是统计估计理论上划时代的发现之一。

设总体的概率模型为F(x|θ)。

为了说明的方便，暂假定只有一个未知参数，X1，X2，……，Xn是容量为 n 的随机样本（大写X），实际观测到的样本观测值（小写x）为 Xl=x1，X2=x2，……，Xn=xn 。

把同各Xi对应的密度函数或概率函数(包括作为未知数的未知参数)的连乘积看成是未知参数的函数，称其为似然函数(Likelihood function)。

也就是说，这样定义的似然函数，就是把手中得到的样本观测值实现的“概率密度或概率”，即“似然程度”看成是未知参数θ的函数。

使这一似然程度为最大从而决定θ的值的“方式”，可以说是极为“合理的”估计方式。

令作为样本观测值的函数被决定的θ* ＝ g(x1，x2，……，xn)对于一切可能的(先验容许的)θ值，都能满足下列条件L(θ*)≥L(θ) ①就是说θ*是使给定的样本观测值的似然程度为最大的θ。

这时θ*叫做θ的最大似然估计值。

用观测以前的样本(随机变量)X1，X2，……，Xn，代换函数g 的 n 个变量后得到的θ估计值θ^ = g(Xl，X2，……，Xn)叫做根据容量为n的样本计算的最大似然估计量。

如果所有可能的θ的集合是有限集合，要求解满足条件①式的θ值是很容易确定的，然而在大部分的应用问题中，θ的集合是无限集合。

因此，在许多场合将似然函数对θ求偏导数，然后需要另外求解的方法。

此外，由于似然函数是非负的，对其进行对数变换是单调递增的变换，所以①式等价于 ㏒ L(θ*)≥㏒ L(θ)并且， 偏导数㏒/偏导数θ = (1/L) * 偏导数L/偏导数θ所以使logL(θ)的偏导数为0的θ值 和 使L(θ)的偏导函数为0的θ值相等。

因此，当对L(θ)直接求导比较麻烦时，可以对LogL(θ)求导，从而求得估计值θ^。

似然函数(Likelihood Function):假定{xi}i=1→n 是从概率密度函数为f(x ; θ)的总体中抽取的独立同分布样本。

目标是估计未知参数向量θ∈Rk。

似然函数定义为观察值xi的联合密度L(X；θ)，它是θ的函数：L(x；θ) = ∏f(xi ; θ)其中，X为样本数据矩阵，由观察值x1 , x2，……，xn组成每一行。

θ的最大似然估计量(maximum likelihood estimator，MLE)定义为θ= arg maxL(X；θ)通常最大化对数似然函数更容易求ζ(X；0) = Log L(X；θ)对数似然函数与似然函数的解是等价的，因为对数转换是单调的一对一映射。

即θ = arg max L(X；θ) = argmaxf(X；θ)最大化过程总是可以被分析表达的，即我们将得到θ估计值的显式分析表达式。

然而不幸的是，在其他一些情形下，最大化过程可能是错综复杂的，牵涉到非线性最优化技术。

给定样本X和似然函数，可将运用数值方法(numerical method)来确定最大化 L(X；θ)或者ζ(X；θ)的θ值，这些数值方法通常是基于牛顿一拉普生(Newton-Raphson)迭代技术。