最大熵模型

最大熵模型(maximum entropy model， MaxEnt) 是很典型的分类算法，它和逻辑回归类似，都是属于对数线性分类模型。在损失函数优化的过者蠢碰程中，使用了和支持向量机类似的凸优化技术。而对熵的使用，让我们想起了决策树算法中的ID3和C4.5算法。

理解了最大熵模型，对逻辑回归，支持向量机以及决策树算法都会加深理解。

我们知道熵定义的实际上是一个随机变量的不确定性，熵最大的时候，说明随机变量最不确定。也就是随档兄机变量最随机，对其行为做准确预测最困难。最大熵原理的实质就是，在已知部分知识的前提下，关于未知分布最合理的推断就是符合已知知识最不确定或最随机的推断。这是我们可以作出的唯一不偏不倚的选择，任何其它的选择都意味着我们增加了其它的约束和假设，这些约束和假设根据我们掌握的信息无法作出。（在已知若干约束的情况下，我们建模时应该让模型满足这些约束，而对其它则不作任何假设。）

将最大首谈熵原理应用于分类问题，得到的就是最大熵模型。对于这样的一个问题：给定一个训练数据集：

其中 表示输入， 表示输出， X 和 Y 表示输入和输出空间， N 为样本的个数。

我们的目标是：利用最大熵原理选择一个最好的分类模型，即对于任意给定的输出入, 可以以概率输出 。

按照最大熵原理，我们应该优先保证模型满足已知的所有约束。这些约束该如何定义呢？我们的思路是：从训练数据 T 中抽取若干特征，然后要求这些特征在 T 上关于经验分布 的数学期望与它们在模型中关于 的数学期望相等。这样，一个特征就对应一个约束。

有了上面定义的特征函数和经验分布，就可以进一步定义我们所需的约束条件了。

现在我们回到序列标注任务，描述一下直接使用对数线性模型的最大熵马尔科夫模型。最大熵马尔科夫模型是隐马尔可夫模型的一个有用替代。

我们的目标是为以下条件概率建立模型。

这里 是第 个输入符号（比如一句话里的第 个词）， 是第 个状态。这里使用 表示所有状态的集野升谨合，这里假设 是有限的。

例如，在英语词性标注里， 是所有英语词性的集合（名词、动词、介词等）。给定包含单词 的一句话，将有 种可能的词性序列 ，这里 是所有词性的数量。我们想要在这 种可能序列中估算出一个分布。

第一步，最大熵马尔科夫模型使用下面的概率分解：

第一个等号是严格成立的，第二个等号需要满足条件独立条件，即对所有 成立,

我们在这里做了一个与HMMs中笑歼的马尔科夫假设相似的假设，例如，状态 只依赖状态 ，和其他的状态无关。

在这个独立假设下，我们对每一项使用对数线性模型进行建模：

这里 是个特征向量，其中：

一旦我们定义好了特征向量 ,就可以像训练对数线性模型那样训练参数 。训练样本由句子 和对应的状态 ，一旦我们训练好了参数，我们就有了

的模型，也就是有了一个

的模型。接下来的问题就是怎样对模型解码。

解码最大熵马尔科夫模型 解码问题如下，给定一个测试序列 ，我们的目标是计算出最有可能的状态序列，

这里有 种状态序列，所以对任意合理长的句子使用暴力搜索的方法都是不现实的。

幸运的是，我们可以使用维特比算法：和在HMMs里使用维特比算法的方式非常类似。算法所需的基本数据结构是一个动态规划表 ,里面的项

其中 , 是位置 处以状态 结束的最大可能状态序列。更正式的，算法计算

其中 ,

算法如下:

最大熵马尔科夫模型和隐马尔可夫模型的比较 使用最大熵马尔科夫模型代替隐马尔可夫模型有什么原因呢？注意到两个模型使用维特比解码颂基过程是非常相似的。在最大熵马尔科夫模型里，状态从 转移到 的概率是

在隐马尔可夫模型里，转移概率是

最大熵马尔科夫模型最大的优势在于特征向量 比隐马尔可夫模型里使用的表达力更丰富。例如，转移概率可能对输入句子 里的每个单词都有关系。

计算熵变的三个公式如下：

1、已知定压比热、温度、压力：根据公式△S1-2=CPln(T2/T1)-Rgln(P2/P1)进行计算其中，△S1-2为由状态1到状态2的熵变化量，J/(kg·K)。

CP为定压比热，J/(kg·K)；T1、T2为状态1和2的热辩乱力学温度，K；P1、P2为状态1和2的绝对压力，Pa；Rg为气体常数，J/(kg·K)。

2、已知定容比热、温度、比体积：

根据公式△S1-2=CVln(T2/T1)+Rgln(v2/v1)进行计算其中，△S1-2为由状态1到状态2的熵变化量，J/(kg·K)；CV为定容比热，J/(kg·K)。

T1、T2为状态1和2的热力学温度，K；v1、v2为状态1和2的比体积，m3/kg；Rg为气体常数，J/(kg·K)。

3、已知定容比热、定压比热、压力、比体积：

根据公式△S1-2=CVln(P2/P1)+CPln(v2/v1)进行计算其中，△S1-2为由状态1到状态2的熵变化量，J/(kg·K)；CV为定容比热，J/(kg·K)；CP为定压比热，J/(kg·K)；P1、P2为状态1和2的绝对压力，Pa；v1、v2为状态1和2的比体积，m3/kg。

化学中的熵变

体系混乱度的状态函数为熵，熵是有加和性质的状态函数。在一个过程中，系统混乱度发生改变，称之为熵变，也就是△S。计算

①应用公式S＝klnΩ 进行时△S＝S2-S1

②恒温可逆过程△S＝Qr/T

③应用吉布斯汪灶锋自由能方程计算困晌△G＝△H-△TS

往混乱度增大的方向反应△S大于零，相反△S小于零。比较混乱度方法固＜液＜气 同状态，分子构成原子数相同，分子体积越大，混乱度越大。

---