【No3】极大似然估计（MLE）

概念：

已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察结果，利用结果推出参数的大概值。

最大似然估计是建立在这样的思想腔渗上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择小概率样本，所以干脆就把这个参数作为估计的真实值。

定义：

设总体分布为f(x,θ），x1,x2,x3,x4...xn为该总体采用得到的样本。因为x1,x2...xn独立分布，于是，他们的联合密度函悔败数为：

一般步骤：

（1）写出似然函数；

（2）对似然函数取对数，得到对数似然函数；

（3）若对数似然函数可导，求导，解方程组

得到驻点。

（4）分析驻点是极大值点

举例：

抛一枚硬币10次

正面为1，反面为0，结如下：

【1,1,0,1,1,1,0,0,1,1】

设正面的概率为p，反面的概率为（1-p)

（1）则最大似然函数公式为L=p*p(1-p）*p...*p*p

简化公式如下：

L=p7*(1-p)3

（2）碧圆颤取对数：lnL=7*lnp+3ln(1-p)

（3）求导：0=7*（1/p)+3*（1/(1-p))*(-1)

7/p=3/(1-p)

得出结果p=7/10

（4）7/10w为极大值点。

1）有两堆球，其中A堆有99个白球和1个黑球，B堆有99个黑球和1个白球。假如随便摸一个球，发现是黑球，那么这个球更有可能来自于哪一堆？

2）猎人和徒弟去打猎，打倒了一只兔子，更可喊迅答能是谁打中的？

3）一堆球，里边有黑白两色的球，其中一种颜色的有90个，另一种颜色的有10个。如果摸出一个球是黑色的，那么里边哪种颜色有90个？

第一个肯定觉得是来自B堆，第二个中更可能是师傅，第三个里边黑球有90个。我们的估计基于，概率最高的事情昌罩，更可能发生。一次实验就出现的事件，这件事有较大的概率发生。

最大似然估计这个名字是由高斯先提出，Fisher后来重新提出并证明了一些特征。这是统计学中的常用方法，机器学习中的逻辑回归中也是基于它计算的损失函数。

当样本分布是离散型：

当样本分布为连续型时：

一般情况下求估计值的步骤：

1）构造似然函数