PyTorch 6.模型创建步骤

PyTorch 6.模型创建步骤

模型创建步骤

• torch.nn
• nn.Module

torch.nn

1. nn.Parameter
   张量子类，表示可学习参数，如weight,bias
2. nn.Module
   所有网络层基类，管理网络属性、
3. nn.functional
   函数具体实现，如卷积，池化，激活函数等
4. nn.init
   参数初始化
   parameters:存储管理nn.Parameters类
   modules: 存储管理nn.Module类
   buffers:存储管理缓冲属性，如BN层中的running_mean
   _hooks:存储管理钩子函数

nn.Module

1. 一个module可以包含多个子module
2. 一个module相当于一个运算，必须实现forward()函数
3. 每个module都有8个字典管理它的属性
   调用forward方法的具体流程为
4. 调用module的call方法
5. module的call里面调用module的forward方法
6. forward里面如果碰到Module的子类，回到第1步，如果碰到的是Function的子类，继续向下
7. 调用Function的call方法
8. Function的call方法调用了Functionde forward方法
9. Functionde的forward返回值
10. module的forward返回值
11. 在module的call进行forward_hook *** 作，然后返回值