GAN算法原理：
1）G是一个生成图片的网络，它接收一个随机的噪声z，通过这个噪声生成图片，记做G(z)。
3）在最理想的状态下，G可以生成足以“以假乱真”的图片G(z)。对于D来说，它难以判定G生成的图片究竟是不是真实的，因此D(G(z)) = 0.5。
4）这样目的就达成了：得到了一个生成式的模型G，它可以用来生成图片。
在训练过程中，生成网络G的目标就是尽量生成真实的图片去欺骗判别网络D。而判别网络D的目标就是尽量把G生成的图片和真实的图片分别开来。这样，G和D构成了一个动态的“博弈过程”。
2.再以理论抽象进行说明：
GAN是一种通过对抗过程估计生成模型的新框架。框架中同时训练两个模型：捕获数据分布的生成模型G，和估计样本来自训练数据的概率的判别模型D。G的训练程序是将D错误的概率最大化。可以证明在任意函数G和D的空间中，存在唯一的解决方案，使得G重现训练数据分布，而D=0.5（D判断不出真假，50%概率，跟抛硬币决定一样）。在G和D由多层感知器定义的情况下，整个系统可以用反向传播进行训练。在训练或生成样本期间，不需要任何马尔科夫链或展开的近似推理网络。实验通过对生成的样品的定性和定量评估，证明了GAN框架的潜在优势。
Goodfellow从理论上证明了该算法的收敛性。在模型收敛时，生成数据和真实数据具有相同分布，从而保证了模型效果。
GAN公式形式如下：
1）公式中x表示真实图片，z表示输入G网络的噪声，G(z)表示G网络生成的图片；
2）D(x)表示D网络判断图片是否真实的概率，因为x就是真实的，所以对于D来说，这个值越接近1越好。
3）G的目的：D(G(z))是D网络判断G生成的图片的是否真实的概率。G应该希望自己生成的图片“越接近真实越好”。也就是说，G希望D(G(z))尽可能得大，这时V(D, G)会变小。因此公式的最前面记号是min_G。
4）D的目的：D的能力越强，D(x)应该越大，D(G(x))应该越小。这时V(D,G)会变大。因此式子对于D来说是求最大max_D。
GAN训练过程：
GAN通过随机梯度下降法来训练D和G。
1)首先训练D，D希望V(G, D)越大越好，所以是加上梯度(ascending)
2)然后训练G时，G希望V(G, D)越小越好，所以是减去梯度(descending)；
GAN训练具体过程如下：
GAN算法优点：
1）使用了latent code，用以表达latent dimension、控制数据隐含关系等；
2）数据会逐渐统一；
3）不需要马尔可夫链；
4）被认为可以生成最好的样本（不过没法鉴定“好”与“不好”）；
5）只有反向传播被用来获得梯度，学习期间不需要推理；
6）各种各样的功能可以被纳入到模型中；
7）可以表示非常尖锐，甚至退化的分布。
GAN算法缺点：
1）Pg(x)没有显式表示；
2）D在训练过程中必须与G同步良好；
3）G不能被训练太多；
4）波兹曼机必须在学习步骤之间保持最新。
GAN的应用范围较广，扩展性也强，可应用于图像生成、数据增强和图像处理等领域。
1）图像生成：
目前GAN最常使用的地方就是图像生成，如超分辨率任务，语义分割等。
2）数据增强：
用GAN生成的图像来做数据增强。主要解决的问题是a)对于小数据集，数据量不足，可以生成一些数据；b)用原始数据训练一个GAN，GAN生成的数据label不同类别。
GAN生成式对抗网络是一种深度学习模型，是近年来复杂分布上无监督学习最具有前景的方法之一，值得深入研究。GAN生成式对抗网络的模型至少包括两个模块：G模型-生成模型和D模型-判别模型。两者互相博弈学习产生相当好的输出结果。GAN算法应用范围较广，扩展性也强，可应用于图像生成、数据增强和图像处理等领域。
明敏 发自 凹非寺量子位 报道 | 公众号 QbitAI
到底是怎样的一个bug，能让95%的Pytorch库中招，就连特斯拉AI总监深受困扰？
还别说，这个bug虽小，但有够“狡猾”的。
这就是最近Reddit上热议的一个话题，是一位网友在使用再平常不过的Pytorch+Numpy组合时发现。
最主要的是，在代码能够跑通的情况下，它甚至还会影响模型的准确率！
除此之外，网友热议的另外一个点，竟然是：
而是它到底算不算一个bug？
这究竟是怎么一回事？
事情的起因是一位网友发现，在PyTorch中用NumPy来生成随机数时，受到数据预处理的限制，会多进程并行加载数据，但最后每个进程返回的随机数却是相同的。
他还举出例子证实了自己的说法。
如下是一个示例数据集，它会返回三个元素的随机向量。这里采用的批量大小分别为2，工作进程为4个。
然后神奇的事情发生了：每个进程返回的随机数都是一样的。
这个结果会着实让人有点一头雾水，就好像数学应用题求小明走一段路程需要花费多少时间，而你却算出来了负数。
发现了问题后，这位网友还在GitHub上下载了超过10万个PyTorch库，用同样的方法产生随机数。
结果更加令人震惊：居然有超过95%的库都受到这个问题的困扰！
这其中不乏PyTorch的官方教程和OpenAI的代码，连特斯拉AI总监Karpathy也承认自己“被坑过”！
但有一说一，这个bug想要解决也不难：只需要在每个epoch都重新设置seed，或者用python内置的随机数生成器就可以避免这个问题。
到底是不是bug？
如果这个问题已经可以解决，为什么还会引起如此大的讨论呢？
因为网友们的重点已经上升到了“哲学”层面：
这到底是不是一个bug？
在Reddit上有人认为：这不是一个bug。
虽然这个问题非常常见，但它并不算是一个bug，而是一个在调试时不可以忽略的点。
就是这个观点，激起了千层浪花，许多人都认为他忽略了问题的关键所在。
这不是产生伪随机数的问题，也不是numpy的问题，问题的核心是在于PyTorch中的DataLoader的实现
对于包含随机转换的数据加载pipeline，这意味着每个worker都将选择“相同”的转换。而现在NN中的许多数据加载pipeline，都使用某种类型的随机转换来进行数据增强，所以不重新初始化可能是一个预设。
另一位网友也表示这个bug其实是在预设程序下运行才出现的，应该向更多用户指出来。
并且95%以上的Pytorch库受此困扰，也绝不是危言耸听。
有人就分享出了自己此前的惨痛经历：
我认识到这一点是之前跑了许多进程来创建数据集时，然而发现其中一半的数据是重复的，之后花了很长的时间才发现哪里出了问题。
也有用户补充说，如果 95% 以上的用户使用时出现错误，那么代码就是错的。
顺便一提，这提供了Karpathy定律的另一个例子：即使你搞砸了一些非常基本代码，“neural nets want to work”。
你有踩过PyTorch的坑吗？
如上的bug并不是偶然，随着用PyTorch的人越来越多，被发现的bug也就越来越多，某乎上还有PyTorch的坑之总结，被浏览量高达49w。
其中从向量、函数到model.train()，无论是真bug还是自己出了bug，大家的血泪史还真的是各有千秋。
所以，关于PyTorch你可以分享的经验血泪史吗？
欢迎评论区留言讨论～
参考链接：
[1]https://tanelp.github.io/posts/a-bug-that-plagues-thousands-of-open-source-ml-projects/
[2]https://www.reddit.com/r/MachineLearning/comments/mocpgj/p_using_pytorch_numpy_a_bug_that_plagues/
[3]https://www.zhihu.com/question/67209417/answer/866488638
— 完 —
第一步：在SE38中打开要增强的程序，在菜单上选择“Edit->Enhancement Operations->Show Implicit Enhancement Options”
第二步：此时在程序中会显示可以增强的地方，点击工具栏上的“Enhance”按钮
第三步：将光标放到你想增强的地方，选择菜单上的“Edit->Enhancement Operations->Create Implementation”
第四步：在d出窗口中选择定义或代码，一般定义为数据定义部分，代码为增强逻辑
第五步：在下一窗口中点击创建按钮（如果已有增强实施，则选择已有实施即可）
第六步：输入实施名称或描述，点击OK
第七步，在实施的位置添加代码
第八步：激活增强
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）