谈谈Tensorflow的dropout

Dropout这个概念已经推出4年了，它的详细描述见 论文 。可是呢，它仿佛是个犹抱琵琶半遮面的美女，难以捉摸！！许多文献都对dropout有过描述，但解释的含糊不清，这里呢，我也不打算解释清楚，只是通过tensorflow来看一看dropout的运行机理。

文章分两部分，第一部分介绍tensorflow中的dropout函数，第二部分是我的思考

首先看官方函数定义：

输入是：

输出是：

然后我们看看官方API是怎么说这个函数的：

注意，输出的非0元素是原来的 “1/keep_prob” 倍！说了这么多，下面给一个程序例子：

运行的结果如下：

分析一下运行结果：

特点分析完毕，小总结一下，dropout这个概念看起来好高大上，然而在程序中实现竟然如此简单！说白了，tensorflow中的dropout就是： 使输入tensor中某些元素变为0，其它没变0的元素变为原来的1/keep_prob大小 ！

首先引用此篇 博文 的话：

然后，我就自己试了试，看看小型网络中dropout效果到底怎么样，程序片段如下：

网络很简单，形如 784-30-10 的一个网络，只不过在输出层前用dropout处理了一下，训练的数据是MNIST的手写数据集，然后你猜怎么着？采用dropout以后的训练精度 不升反降 ，后来我把网络隐藏层改成100个神经元，结果依旧，看来，我的网络还是太小了，真的如上面那篇博客所说，dropout用不好的话，真是个累赘！

放在后面：pooling Dropout。集中辍学。

pool的基本意思是“水池”,多指自然形成的(如雨水、河水汇聚而成)水坑或水塘,也可指小面积的水流缓慢的水域。

pool的基本意思是“集中…共同使用”,指在单方面不能成功做某事的情况下,把资源集中起来使用,从而胜利完成某件事情。

pool是及物动词,后接金钱、财物、资源或思想、意见等名词作宾语。

同根词组：

pooling of land 土地入股 。

patent pooling 专利共同使用制。

pooling agreement 联营协定 。

currency pooling 货币总库。

pooling information 集合资料 。

filter pooling 滤器污水池。

currency pooling system 贷币汇率统筹制度。

pooling procedure 会集程序。

安卓手机不可以运行exe后缀文件

1、APK是安卓应用的后缀，是AndroidPackage的缩写，即Android安装包(apk)通过将APK文件直接传到Android模拟器或Android手机中执行即可安装。apk文件和sis一样，把android sdk编译的工程打包成一个安装程序文件，格式为apk

2、EXEFile可执行程序一种可在 *** 作系统存储空间中浮动定位的可执行程序。MS-DOS和MS-WINDOWS下,此类文件扩展名为exe。

3、WINDOWS *** 作系统中的二进制可执行文件，可执行文件分两种一种是后辍名为com另一种就是EXE了。com一般用于DOS，在WINDOWS系统中的执行文件一般都是exe文件在MS-DOS中，用以标识可执行文件的文件扩展名。

常见文件扩展名：

1、文本

java、xml、json、conf、jsp、phps、asp、project、class、path、svn。

2、文档

pdf：adobe电子阅读文档、xls：97—03的excel工作表、xlsx：2007excel工作表、doc：word文档、ppt：演示文稿。

3、可执行文件

exe：windows可执行文件、msi：microsoft installer的简写,是微软格式的安装包、bat：dos下的批处理文件、sh：UNIX/LINUX *** 作系统的脚本文件、rpm：linux下的一种程序安装包文件

4、编译后文件

class：编译后的java二进制文件、dll：Dynamic Link Library的缩写,意为动态链接库、so：linux下的动态链接库、a：linux下的静态链接库、ko：linux内核使用的动态连接文件。

5、压缩包

rar：利文件格式，用于数据压缩与归档打包、zip：经过压缩的文件、arj：早期DOS *** 作系统下比较常用的压缩文件格式。

6、网页

htm：网页文件、html：网页文件、js：javascript脚本语言编写的文件、css：展现html或xml的样式文件。

7、镜像

iso：镜像文件、mdf：虚拟光驱镜像文件。

8、图片

gif：基于LZW算法的连续色调的无损压缩格式，优点（动画存储格式），缺点（最多256色，画质差）、jpg：全名JPEG，以24 位颜色存储单个位图，优点（文件小，色彩比较丰富利于网络传输），缺点、png：试图替代GIF和TIFF文件格式，优点（可保存透明背景的图片），缺点（画质中等）。

9、音频

mid：声卡声乐文件、wav：微软公司开发的一种声音文件格式，符合RIFF(Resource Interchange File Format)文件规范、mp3：利用 MPEG Audio Layer 3 的技术，将音乐以1:10 甚至 1:12 的压缩率，压缩成容量较小的。

10、视频

rm：RealNetworks公司开发的一种流媒体视频文件格式、mpg：运动图像压缩算法的视频格式mpeg：mpg全称，（Moving Pictures Experts Group）即动态图像专家组。

---