pytorch：early stop dropout 随机梯度下降

pytorch：early stop dropout 随机梯度下降

（1）early stop dropout

 

 （2）dropout              只在train生效

dropout要求不需要使用全部权值w，而必要的权值数量越小越好。

dropout的使用

pytorch和tf使用dropout的区别

torch.nn.Dropout(p=dropout_prob)   括号内是遗失的，就是dropout

tf.nn.dropout(keep_prob)    括号内是剩下的，1-dropout

（3）stochastic gradient Descent

首先，并不是真正的随机，而是符合一个分布