对抗样本之CW原理&coding

本文采用手稿模拟的角度，尽量使读者较为直白的面对冷冰冰的公式。

抛去CW算法不谈。一般来说，生成样本算法都要保证如下两个条件：

条件一，保证了生成样本与原始干净样本尽量的相似。

条件二，保证了生成样本确实能成功攻击模型。

仔细想想，这两个条件是不是就满足了生成样本的全部需求哩。

问题定义清楚了，那问题的数学描述就成了关键。

数学描述：

其手稿模拟如下：

CW算法手稿模拟：

常人思路攻击：

CW攻击：

CW是一个基于优化的攻击，主要调节的参数是c和k,看你自己的需要了。它的优点在于，可以调节置信度，生成的扰动小，可以破解很多的防御方法，缺点是，很慢。

欢迎留言，力所能及，必答之。

[toc]

参照2013年的论文《Intriguing properties of neural networks》的论文中指出神经网络的两个特性

1.神经网络中包含语义信息的部分并不是在每个独立的神经元，而是整个空间；

2.神经网络学习到的从输入到输出的映射在很大程度上是 不连续 的。

其造成的结果简单直观地用图表示如图1：

<center>图1</center>

2014年的《Threat of Addversarial Attacks on Deep Learning in Computer Vision: A Survey》有关于对抗攻击更为具体的综述，另外《Explaining and harnessing adversarial examples》指出产生对抗攻击的原因并非网络的复杂性，而是是 高纬空间中的线性特性 。

对抗攻击中的混淆分类器（ 由Biggo和Szegedy都提出的攻击策略 ）：

寻找一个对抗样本x，使它尽可能被分类为目标类别，并且与某个原来的样本 在样本空间距离小于 。

对于给定的某个样本 ，找到离它最近的样本，使得被分类为标签 。

此时应用梯度下降法（ 或者牛顿法，BFGS，L-BFGS等）

设 为 与 之间的夹角，则有 ,显然 时， 下降最快，从而 下降最快，此时 。

联系混淆分类器，即

从《 Evasion attacks against machine learning at test time 》可知对抗攻击并非神经网络独有。（本人认为是传统的机器学习方法在低纬度的线性空间中表现不明显或者从效果上来说还没有达到需要大量关注对抗攻击的地步。）

对于低纬度空间，可以简单地增加神经元数量通过变换空间完成分类，而实际问题中的数据可能很复杂，某些较宽的神经网络对于这种问题避重就轻地拉伸解决，问题图示和拉伸之后如图2：

<center class="half"> <img src="https://auto2dev.coding.net/p/ImageHostingService/d/ImageHostingService/git/raw/master/paper/caiwei_study_2020.3-2.jpg" width="30%"/><img src="https://auto2dev.coding.net/p/ImageHostingService/d/ImageHostingService/git/raw/master/paper/caiwei_study_2020.3-3.jpg" width="30%"/></center>

<center>图2 较高纬度的复杂问题的数据及其拉伸</center>

当前，针对对抗攻击的防御措施正在沿着三个主要方向发展：

截止至2018年，表现最优异的防御对抗攻击方法是图像压缩

由于局部结构中相邻像素之间具有很强的相似性和相关性，因此图像压缩可以在保留显著信息的同时减少图像的冗余信息。在此基础上，论文《 a simple and accurate method to fool deep neural networks》中设计了 ComDefend利用图像压缩来消除对抗扰动或打破对抗扰动的结构 ，如图

在清晰的图像上添加不可察觉的扰动可能会欺骗训练有素的深度神经网络。本文主要的思想是提出了一种端到端的图像压缩模型来防御对抗性示例。所提出的模型由压缩卷积神经网络（ComCNN）和重建卷积神经网络（ResCNN）组成。ComCNN用于维护原始图像的结构信息并消除对抗性干扰（预处理降噪）。ResCNN用于重建高质量的原始图像。ComDefend将对抗图像转换为其最原始的图像，然后将其输入经过训练的分类器中。预处理模块，并且不会在整个过程中修改分类器的结构。因此，将其与其他特定于模型的防御模型结合使用，以共同提高分类器的鲁棒性。

---