生成模型论文略读

最近准备每天看些论文，记录下个人略读论文的一些收获和观点，如有不对，请大佬们斧正！

Part one. VAE&GAN model

2022.4.27

 1.《Autoencoding beyond pixels using a learned similarity metric》

Paper:https://arxiv.org/abs/1512.09300v2

主要内容：基于VAE图像生成容易导致的模糊和空间不确定性，提出了一种VAE与GAN结合的网络VAE-GAN。

主要创新点：

（1）将VAE的解码器部分和GAN的生成器部分共用，VAE的ELBO重构损失不再使用解码后x的像素差异而使用判别器D内隐藏层向量Disl(x)的差异，可以在训练生成器G时考虑图像的空间分布特征，GAN本身强大的映射拟合能力可以使得图像清晰度较VAE更好。

（2）VAE-GAN可以通过手动设置隐变量，生成特征可控的图像。

2.《Variational Approaches for Auto-Encoding Generative Adversarial Networks》

Paper:https://arxiv.org/abs/1706.04987v2

主要内容：提出了VAE与GAN两种网络结合的一种思路，运用对抗训练使得编码隐变量分布和先验分布更接近。

主要创新点：

（1）在编码器Enc部分，不直接限制输出的隐变量的分布类型，即使隐变量分布向先验分布（标准高斯）靠拢，而是引入一个二分类器辨别来自先验分布还是编码后分布，从而用分类器输出比值代替传统VAE中后验估计与先验的KL散度（这玩意应该属于经验KL）

（2）用解码器Dec作为生成器G，同样采用最大化ELBO的方法，但是ELBO的重构损失项中的对数似然log(p(x|z))改成混合损失的形式，由样本编码解码后的L1重构损失和GAN的生成器损失组成，并且基于前人工作对GAN生成器损失部分进行改写。

（3）训练框架：在二分类器的训练中希望编码隐变量输出0，先验隐变量输出1，使两者可分别；而Eec的训练会使得编码隐变量二分类器输出结果为1，故编码器和而分类器是一组对抗训练。而生成器G从先验和编码分布中生成样本与判别器D识别原始样本和生成样本也是一组对抗训练。

2022.4.28

3.《ADVERSARIALLY LEARNED INFERENCE》

Paper：https://arxiv.org/abs/1606.00704v3

主要内容：从样本x和隐变量z的联合概率对齐角度，引入对抗训练学习，判别器负责区分编码器联合分布和解码器联合分布，而编码器和解码器一起学习生成相似的关于x，z的联合概率分布。

主要创新点：

（1）整个网络没有采用解码器作生成器的方式，而是将编码器和解码器都作为生成器，编码器负责学习从样本x~q（x）到后验分布q（z|x），而解码器负责学习从先验z~p（z）到条件分布x~p（x|z）。从概率角度看，输入端概率（样本x或先验z）乘学习到的概率分布就是两个（x，z）联合概率分布；从数据对角度看，编码解码器最后都会输出(x，E(x))和(z，D(z))两个数据对。将这两个数据对输入到判别器中，由判别器学习区分，而编码器学习让判别器混淆两个数据对。

（2）隐变量子空间可以实现在两隐变量之间插值，这些插值隐变量输入到解码器依旧可以得到一些可信的渐变生成结果，说明模型具有提取潜在特征的能力而不是仅仅学到了一个映射。（这和VAE给每个样本编码一个正态分布，用概率覆盖实现的插值生成不同）

4.《IntroVAE: Introspective Variational Autoencoders for Photographic Image Synthesis》

Paper：https://arxiv.org/abs/1807.06358v2

主要内容：指出VAE和GAN混合模型较为复杂，将GAN的对抗训练思想引入VAE中，和AGE和VAE-GAN网络结构类似，但是损失函数、编码器输出有差异。针对大分辨率图像生产任务

主要创新点：

（1）编码器作为判别器，解码器作为生成器，样本数据输入编码器Enc编码为高斯分布后，重参数trick采样再解码生成重构数据，目前为止和VAE一样，计算先验和近似后验的KL以及重构误差。然后用Enc作为判别器，将重构数据x映射到编码子空间，Enc希望近似后验与先验KL最小，而生成的图像重编码后的KL最大，生成器希望生成数据重编码的KL最小。（说实话没看出有啥特别的点，和VAE-GAN很像，就是把判别器换成编码器不过图像生成质量挺好的，后续有想法再补充）