如何在matlab中使用metropolis-hasting算法

MH算法也是一种基于模拟的MCMC技术，一个很重要的应用是从给定的概率分布中抽样。主要原理是构造了一个精妙的Markov链，使得该链的稳态 是你给定的概率密度。它的好处，不用多说，自然是可以对付数学形式复杂的概率密度。有人说，单维的MH算法配上Gibbs Sampler几乎是“无敌”了。

今天试验的过程中发现，MH算法想用好也还不简单，里面的转移参数设定就不是很好弄。即使用最简单的高斯漂移项，方差的确定也是个头疼的问题，需要不同问题不同对待，多试验几次。当然你也可以始终选择“理想”参数。

还是拿上次的混合高斯分布来做模拟，模拟次数为500000次的时候，概率分布逼近的程度如下图。虽然几个明显的"峰"已经出来了，但是数值上还是 有很大差异的。估计是我的漂移方差没有选好。感觉还是inverse sampling好用，迭代次数不用很多，就可以达到相当的逼近程度。

试了一下MH算法，

R Code：

p=function(x,u1,sig1,u2,sig2){

(1/3)*(1/(sqrt(2*pi)*15)*exp(-0.5*(x-70)^2/15^2)+1/(sqrt(2*pi)*11)*exp(-0.5*(x+80)^2/11^2)+1/(sqrt(2*pi)*sig1)*exp(-0.5*(x-u1)^2/sig1^2)+1/(sqrt(2*pi)*sig2)*exp(-0.5*(x-u2)^2/sig2^2))

}

MH=function(x0,n){

x=NULL

x[1] = x0

for (i in 1:n){

x_can= x[i]+rnorm(1,0,3.25)

d= p(x_can,10,30,-10,10)/p(x[i],10,30,-10,10)

alpha= min(1,d)

u=runif(1,0,1)

if (u<alpha){

x[i+1]=x_can}

else{

x[i+1]=x[i]

}

if (round(i/100)==i/100) print(i)

}

x

}

z=MH(10,99999)

z=z[-10000]

a=seq(-100,100,0.2)

plot(density(z),col=1,main='Estimated Density',ylim=c(0,0.02),lty=1)

points(a, p(a,10,30,-10,10),pch='.',col=2,lty=2)

legend(60,0.02,c("True","Sim (MH)"),col=c(1,2),lty=c(1,2))

在介绍GS模型之前，我们有必要先来了解一下混合线性模型（Mixed Linear Model，MLM）。混合线性模型是一种方差分量模型，既然是线性模型，意味着各量之间的关系是线性的，可以应用叠加原理，即几个不同的输入量同时作用于系统的响应，等于几个输入量单独作用的响应之和（公式1）。