来自学习变量的预期张量流模型大小

来自学习变量的预期张量流模型大小

将所有这些变量加起来，我们希望得到一个大小为12.45Mb的model.ckpt.data文件

传统上，在这种情况下，大多数模型参数位于第一个完全连接的层中

wd1

。仅计算其大小会得出：

7*7*128 * 1024 * 4 = 25690112

…或

25.6Mb

。注意

4

系数，因为变量

dtype=tf.float32

，即

4

每个参数的字节数。其他层也影响模型的大小，但并不是很大。

如您所见，您的估算

12.45Mb

值 有些偏离
（您是否为每个参数使用16位？）。该检查点还存储一些常规信息，因此开销大约为25％，这仍然很大，但不是300％。

[更新]

[7*7*64,1024]

正如所阐明的，所讨论的模型实际上具有FC1形状的图层。因此，计算出的上述尺寸应该

12.5Mb

确实是。这使我更加仔细地查看了保存的检查点。

检查之后，我注意到我最初错过的其他大变量：

...Variable_2 (DT_FLOAT) [3136,1024]Variable_2/Adam (DT_FLOAT) [3136,1024]Variable_2/Adam_1 (DT_FLOAT) [3136,1024]...

该

Variable_2

是完全

wd1

，但也有亚当优化2个拷贝。这些变量由创建亚当优化，他们是所谓的
插槽 并保持

m

和

v

蓄能器 对所有训练的变量 。现在总大小有意义。

您可以运行以下代码来计算图形变量的总大小-

37.47Mb

：

var_sizes = [np.product(list(map(int, v.shape))) * v.dtype.size  for v in tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES)]print(sum(var_sizes) / (1024 ** 2), 'MB')

因此，开销实际上很小。额外的大小取决于优化程序。