具有预先训练的卷积基数的keras模型中损失函数的奇异行为

具有预先训练的卷积基数的keras模型中损失函数的奇异行为

看起来我找到了解决方案。正如我所建议的，问题出在BatchNormalization层上。他们做树的东西

1. 减去均值并通过std归一化
2. 使用运行平均值收集均值和标准差的统计数据
3. 训练两个附加参数（每个节点两个）。

当一个集

trainable

到

False

，这两个参数冻结和层也停止对平均和std收集统计量。但是看起来该层仍在 使用训练批处理的
训练时间内执行归一化。这很可能是喀拉拉邦的一个bug，或者出于某些原因，他们故意这样做了。结果， 即使可训练属性设置为False
，训练时间期间正向传播的计算与预测时间 也 不同。

我可以想到两种可能的解决方案：

1. 要将所有BatchNormalization图层设置为可训练。在这种情况下，这些层将从您的数据集中收集统计信息，而不是使用预先训练的数据（这可能有很大的不同！）。在这种情况下，您将在训练期间将所有BatchNorm图层调整为自定义数据集。
2. 将模型分为两部分

   model=model_base+model_top

   。之后，使用

   model_base

   提取特征

   model_base.predict()

   ，然后将这些特征输入

   model_top

   并仅训练

   model_top

   。

我刚刚尝试了第一个解决方案，它似乎正在工作：

model.fit(x=dat[0],y=dat[1],batch_size=32)Epoch 1/132/32 [==============================] - 1s 28ms/step - loss: **3.1053**model.evaluate(x=dat[0],y=dat[1])32/32 [==============================] - 0s 10ms/step**2.487905502319336**

这是在经过一些培训之后-需要等待，直到收集到有关均值和标准差的足够统计信息为止。

第二种解决方案我还没有尝试过，但是我很确定它会起作用，因为在训练和预测期间的前向传播将是相同的。

Update. I found a great blog post where this issue has been discussed in all
the details. Check it outhere