最大似然估计和最小二乘法

这俩玩意看着简单，每次回想起来 总觉得哪里不明白，就总结一下吧。

先看看百度的解释：

最大似然估计(maximum likelihood estimation, MLE)一种重要而普遍的求估计量的方法。最大似然法明确地使用概率模型，其目标 是寻找能够以较高概率产生观察数据 的系统发生树。最大似然法是一类完全基于 统计 的系统发生树重建方法的代表。

原理：

给定一个 概率分布 D，假定其 概率密度函数 （连续分布）或概率聚集函数（离散分布）为 f D ，以及一个分布参数θ，我们可以从这个分布中抽出一个具有 n 个值的采样X1,X2,,Xn，通过利用 f D ，我们就能计算出其概率：

但是，我们可能不知道θ的值，尽管我们知道这些采样数据来自于分布D。那么我们如何才能估计出θ呢？一个自然的想法是从这个分布中抽出一个具有 n 个值的采样X1,X2,,Xn，然后用这些采样数据来估计θ。

一旦我们获得，我们就能从中找到一个关于θ的估计。最大似然估计会寻找关于 θ的最可能的值（即，在所有可能的θ取值中，寻找一个值使这个采样的“可能性”最大化）。这种方法正好同一些其他的估计方法不同，如θ的非偏估计，非偏估计未必会输出一个最可能的值，而是会输出一个既不高估也不 低估 的θ值。

要在数学上实现最大似然 估计法 ，我们首先要定义可能性：

并且在θ的所有取值上，使这个函数最大化。这个使可能性最大的值即被称为θ的 最大似然估计 。 [1]

emmm。。。 说这么多理解起来有点费劲啊 不是很直观。

我们来看个直观的例子吧：
总结起来，最大似然估计的目的就是：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。

        原理：极大似然估计是建立在极大似然原理的基础上的一个统计方法，是概率论在统计学中的应用。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“ 模型已定，参数未知 ”。通过若干次试验，观察其结果， 利用试验结果得到某个参数值能够使样本出现的概率为最大 ，则称为极大似然估计。

再举一个例子：

假设一个袋子装有白球与红球，比例未知，现在抽取10次（每次抽完都放回，保证事件独立性），假设抽到了7次白球和3次红球，在此数据样本条件下，可以采用最大似然估计法求解袋子中白球的比例（最大似然估计是一种“模型已定，参数未知”的方法）。当然，这种数据情况下很明显，白球的比例是70%，但如何通过理论的方法得到这个答案呢？一些复杂的条件下，是很难通过直观的方式获得答案的，这时候理论分析就尤为重要了，这也是学者们为何要提出最大似然估计的原因。我们可以定义从袋子中抽取白球和红球的概率如下：
其中theta是未知的，因此，我们定义似然L为：
两边取ln，取ln是为了将右边的乘号变为加号，方便求导。
最大似然估计的过程，就是找一个合适的theta，使得平均对数似然的值为最大。因此，可以得到以下公式：
这里讨论的是2次采样的情况，当然也可以拓展到多次采样的情况：
我们定义M为模型（也就是之前公式中的f），表示抽到白球的概率为theta，而抽到红球的概率为(1-theta)，因此10次抽取抽到白球7次的概率可以表示为：
将其描述为平均似然可得：
那么最大似然就是找到一个合适的theta，获得最大的平均似然。因此我们可以对平均似然的公式对theta求导，并另导数为0。
由此可得，当抽取白球的概率为07时，最可能产生10次抽取抽到白球7次的事件。

最小二乘法（又称最小平方法）是一种数学 优化 技术。它通过最小化误差的平方和寻找数据的最佳 函数 匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于 曲线拟合 。其他一些优化问题也可通过最小化能量或最大化熵用 最小二乘法 来表达。

请看这篇知乎文章 通俗易懂

>二项分布就是n个两点分布，两点分布的概率是P=p^x(1-p)^(1-x)，所以似然函数 L=p^∑Xi（1-p）^(n-∑Xi),构造 lnL=∑Xilnp+(n-∑Xi) ln(1-p),对p进行求导，令其结果等于0，就是∑Xi/p+(n-∑Xi)/(1-p)=0,通分后令分母等于0，可以得到p=（∑Xi）/n 追问： “二项分布就是n个两点分布”何解，二项分布的似然函数也不是你所说的那样，正确答案是p=（∑Xi）/(n^2) 回答： 二项分布就是问事件的发生次数，而每次事件要么发生要么不发生，就是一个两点分布，所以二项分布就是n个两点分布，这句话绝对没错！ 那个似然函数只能那么了，不过答案我看了下，是错了，你那边就只有答案吗？你把似然函数写下我看下，郁闷，我找不出错了，不好意思！ 补充： 我把题看错了！哎呀，这样的话，X1的发生概率就是 p^x1(1-p)^(1-x1)再乘以Cnx1，其他的概率也这样一些，构造函数，方法是这样，你自己算算，算不出来了我给你算。你自己用笔肯定好写，我电脑打那些排列组合就不好打！ 追问： 就这有答案 而已我就是似然函数写不好 后面还是会算的 回答： 那个X1的概率明白吧？ 然后X2的就是把X1换成X2，最后X1到Xn的乘起来就出来似然函数了，我给你算算！ 你等等！ 补充： 我想出来！ p^x1(1-p)^(n-x1)再乘以Cnx1， 然后X2的就是把X1换成X2，最后X1到Xn的乘起来就出来似然函数了，求出来就是p=（∑Xi）/(n^2)，那里不是1-x1，是n-x1，这下绝对没问题了！

解题过程如下图：

泊松分布（Poisson distribution），台译卜瓦松分布（法语：loi de Poisson，英语：Poisson distribution，译名有泊松分布、普阿松分布、卜瓦松分布、布瓦松分布、布阿松分布、波以松分布、卜氏分配等），是一种统计与概率学里常见到的离散机率分布（discrete probability distribution）。

扩展资料

当二项分布的n很大而p很小时，泊松分布可作为二项分布的近似，其中λ为np。通常当n≧20,p≦005时，就可以用泊松公式近似得计算。

事实上，泊松分布正是由二项分布推导而来的，具体推导过程参见本词条相关部分。

在实际事例中，当一个随机事件，例如某电话交换台收到的呼叫、来到某公共汽车站的乘客、某放射性物质发射出的粒子、显微镜下某区域中的白血球等等，以固定的平均瞬时速率λ（或称密度）随机且独立地出现时，那么这个事件在单位时间（面积或体积）内出现的次数或个数就近似地服从泊松分布P(λ)。因此,泊松分布在管理科学、运筹学以及自然科学的某些问题中都占有重要的地位。

---