置换检验

显著性检验可以告诉我们某个观测值是否有效，，例如检测两组样本均值差异的假设检验可以告诉我们这两组样本的均值是否相等。由于一些因素的限制，我们一般得到的样本都是小样本，而我们想知道总体样本的分布，这时就需要置换检验。

下面通过一个简单例子来介绍Permutation test的思想。

假设我们设计了一个实验来验证加入某种生长素后拟南芥的侧根数量会明显增加。A组是加入某种生长素后，拟南芥的侧根数量；B是不加生长素时，拟南芥的侧根数量（均为假定值）。

A组侧根数量（共12个数据）：24 43 58 67 61 44 67 49 59 52 62 50

B组侧根数量（共16个数据）：42 43 65 26 33 41 19 54 42 20 17 60 37 42 55 28

我们来用假设检验的方法来判断生长素是否起作用。我们的零假设为：加入的生长素不会促进拟南芥的根系发育。在这个检验中，若零假设成立，那么A组数据的分布和B组数据的分布是一样的，也就是服从同个分布。

接下来构造检验统计量——A组侧根数目的均值同B组侧根数目的均值之差。

statistic:= mean(X a) -mean(X b)

对于观测值有 S obs :=mean(X a) -mean(X b) =(24+43+58+67+61+44+67+49+59+52+62+50)/12-(42+43+65+26+33+41+19+54+42+20+17+60+37+42+55+28)/16=14

我们可以通过S obs 在置换分布（permutation distribution）中的位置来得到它的P-value。

Permutation test的具体步骤是：

1.将A、B两组数据合并到一个集合中，从中挑选出12个作为A组的数据（X' a ），剩下的作为B组的数据（X' b ）。

Gourp:=24 43 58 67 61 44 67 49 59 52 62 50 42 43 65 26 33 41 19 54 42 20 17 60 37 42 55 28

挑选出 X' a :=43 17 44 62 60 26 28 61 50 43 33 19

X' b :=55 41 42 65 59 24 54 52 42 49 37 67 67 20 42 58

2.计算并记录第一步中A组同B组的均值之差。S per :=mean(X' a) -mean(X' b)= -7.875

3.对前两步重复999次（重复次数越多，得到的背景分布越”稳定“）

这样我们得到有999个置换排列求得的999个S per 结果，这999个S per 结果能代表拟南芥小样本实验的抽样总体情况。

对上面999个置换后的均值之差画统计分布图，如图所示，我们的观测值 S obs =14 在抽样总体右尾附近，说明在零假设条件下这个数值是很少出现的。在permutation得到的抽样总体中大于14的数值有9个，所以估计的P-value是9/999=0.01

最后还可以进一步精确P-value结果（做一个抽样总体校正），在抽样总体中加入一个远大于观测值 S obs =14的样本，最终的P-value=(9+1)/(999+1)=0.01。（为什么这样做是一个校正呢？自己思考:)）

P<0.05，结果表明我们的原假设不成立，加入生长素起到了促使拟南芥的根系发育的作用。

一、概况

基本概念：Permutation test 置换检验是Fisher于20世纪30年代提出的一种基于大量计算（computationally intensive），利用样本数据的全（或随机）排列，进行统计推断的方法。

优势在于小样本检验：研究表明，当样本含量较大时, Permutation test得到的结果与经典的参数检验(t 检验、F 检验)近似。当样本含量较小时，Permutation test要优于参数检验，并且其检验效能也高于秩和检验。

原理：在具体使用上它和Bootstrap Methods类似，通过对样本进行顺序上的置换，重新计算统计检验量，构造经验分布，然后在此基础上求出P-value进行推断。

二、 实例

实验目的：验证加入某种生长素后拟南芥的侧根数量会明显增加。

实验设计：A组是加入某种生长素后，拟南芥的侧根数量；B是不加生长素时，拟南芥的侧根数量（均为假定值）。

  A组侧根数量（共12个数据）：24 43 58 67 61 44 67 49 59 52 62 50

  B组侧根数量（共16个数据）：42 43 65 26 33 41 19 54 42 20 17 60 37 42 55 28

检验方法：我们来用假设检验的方法来判断生长素是否起作用。

    我们的零假设H0为：加入的生长素不会促进拟南芥的根系发育。在这个检验中，若H0成立，那么A组数据的分布和B组数据的分布是一样的，A组数据和B组数据不存在显著差异，也就是服从同个分布。

    接下来构造检验统计量——A组侧根数目的均值同B组侧根数目的均值之差。

    statistic:= mean(Xa)-mean(Xb)

    对于观测值有 Sobs:=mean(Xa)-mean(Xb)=      (24+43+58+67+61+44+67+49+59+52+62+50)/12-  (42+43+65+26+33+41+19+54+42+20+17+60+37+42+55+28)/16=14   

    我们可以通过Sobs在置换分布（permutation distribution）中的位置来得到它的P-value。

    如果p<0.05，那么说明在原假设成立的情况下，出现这个Sobs值的概率是很低的(往极限讲的话在原假设成立的情况下是不会出现这个sob值的，那么既然现在这个值出现的，就可以拒绝原假设)，因此拒绝原假设，认为A、B两组数据存在显著差异，因此加入生长素会促进拟南芥的根系发育；

    如果p>0.05，那么说明在原假设成立的情况下，出现这个Sobs值的概率很大，原假设成立，认为A、B两组数据不存在显著差异，因此加入生长素不会促进拟南芥的根系发育。

检验过程：

Permutation test的具体步骤是：

1.将A、B两组数据合并到一个集合中，从中挑选出12个作为A组的数据（X'a），剩下的作为B组的数据（X'b）。

Group:=24 43 58 67 61 44 67 49 59 52 62 50 42 43 65 26 33 41 19 54 42 20 17 60 37 42 55 28

挑选出 X'a:=43 17 44 62 60 26 28 61 50 43 33 19

X'b:=55 41 42 65 59 24 54 52 42 49 37 67 67 20 42 58

2.计算并记录第一步中A组同B组的均值之差。Sper:=mean(X'a)-mean(X'b)= -7.875

3.对前两步重复999次（重复次数越多，得到的背景分布越”稳定“）

这样我们得到有999个置换排列求得的999个Sper结果，这999个Sper结果能代表拟南芥小样本实验的抽样总体情况。

import numpy as np

import matplotlib.pyplot as plt

import seaborn as sns

def exact_mc_perm_test(xs, ys, nmc):

    n, k = len(xs), 0

    diff = np.abs(np.mean(xs) - np.mean(ys))

    zs = np.concatenate([xs, ys])

    list=np.empty(nmc)

    for j in range(999):

        np.random.shuffle(zs)

        list[j]=np.abs(np.mean(zs[:n]) - np.mean(zs[n:]))

        k += diff <np.abs(np.mean(zs[:n]) - np.mean(zs[n:]))

    return list

xs = np.array([24,43,58,67,61,44,67,49,59,52,62,50])

ys = np.array([42,43,65,26,33,41,19,54,42,20,17,60,37,42,55,28])

list_a=exact_mc_perm_test(xs, ys, 999)

print(list_a)

sns.set_palette("hls") #设置所有图的颜色，使用hls色彩空间

sns.distplot(list_a,color="r",bins=30,kde=True) #kde=true，显示拟合曲线

plt.title('Permutation Test')

plt.xlabel('difference')

plt.ylabel('distribution')

plt.show()

如上图所示，我们的观测值 Sobs=14 在抽样总体右尾附近，说明在零假设条件下这个数值是很少出现的。在permutation得到的抽样总体中大于14的数值有9个，所以估计的P-value是9/999=0.01

最后还可以进一步精确P-value结果（做一个抽样总体校正），在抽样总体中加入一个远大于观测值 Sobs=14的样本，最终的P-value=(9+1)/(999+1)=0.01

结果表明我们的原假设不成立，加入生长素起到了促使拟南芥的根系发育的作用。

参考文献：

http://www.iikx.com/news/statistics/1824.html

https://www.plob.org/article/3176.html

当样本量过小、存在离群点、基于理论分布设计合适的统计检验过于复杂且数学上难以处理时，传统的非参数检验也束手无策时

以 原假设 为起点，假定 二组没有差别 ，由此将二组样本合并，从中以无放回方式进行 抽样 ，分别归入两个组再计算统计量， 反复进行 由此得到 置换分布 ，在此基础上进行推断。

3.1 coin包

例子

3.2 base包

---