将时序数据馈入有状态LSTM的正确方法？_随笔

将时序数据馈入有状态LSTM的正确方法？

答案是：取决于眼前的问题。对于单步
预测的情况-是的，可以，但是不必这样做。但是，无论您是否这样做，
都会对学习产生重大影响。

批处理与示例机制（“参见AI” =参见“其他信息”部分）

所有模型都将样本视为独立的示例；一批32个样品
就像一次32个样品（有差异-参见AI）。从
模型的角度来看，数据被分成批维

batch_shape[0]

，
和特征的尺寸，

batch_shape[1:]

- “不说话”两在
两者之间唯一的关系是通过梯度（见AI）。

重叠与非重叠批处理

理解它的最佳方法也许是基于信息的。我将从
时间序列二进制分类开始，然后将其与预测联系起来：假设您
有10分钟的EEG记录，每个记录有240000个时间步长。任务：癫痫发作还是非
癫痫发作？

由于240k对于RNN来说处理不了，因此我们使用CNN进行降维
我们可以选择使用“滑动窗口”-即一次填充一个子段；我们用54k
取10个样本，定形(240000, 1)。怎么喂？

(10, 54000, 1)

，包括所有样品，切片为

sample[0:54000]; sample[54000:108000]

…

(10, 54000, 1)

，包括所有样品，切片为

sample[0:54000]

;

sample[24000:81000]

…
更合理；现在我们的窗户有50％的重叠，而不是
99.998％。

预测：重叠不好吗？

如果您要进行单步预测，则信息格局现在已
更改：

您的序列长度很有可能从240000开始，所以任何类型的重叠都不会受到“相同批次多次”的影响
预测从根本上与分类有所不同，因为您输入的每个子样本的标签（下一个时间步）都不同。分类对整个序列使用一个
这会极大地改变您的损失函数，以及将其
最小化的“良好实践” ：

预测变量必须对其初始样本具有鲁棒性，尤其是对于LSTM-因此，我们通过滑动序列来训练每个这样的“开始”，如您所示
由于标签在时间步长上不同，因此损失函数在时间步长上有很大变化，因此过拟合的风险要小得多
我该怎么办？

首先，请确保您了解整篇文章，因为这里没有什么是真正的
“可选”。然后，这是每批重叠与不重叠的关键：

转移了一个样本：模型学会了更好地预测每个开始步骤的前进步-意思是：（1）LSTM对初始细胞状态的鲁棒性；（2）在落后X步的情况下，LSTM可以很好地预测前进
许多样本在以后的批次中转移：模型不太可能“记住”火车设置和过拟合
您的目标：平衡两者；1在2上的主要优势是：

当LSTM无法一次处理整个序列（因此会
“分裂”）时，或者当反向传播需要不同的梯度时，可以使用有状态。
对于前者，想法是-LSTM在评估
后者时会考虑前者的顺序：

何时使用有状态：何时LSTM
在评估下一个时受益于先前的批次。这可以包括一步预测，但
前提是您无法一次输入整个序列：

期望：100个时间步。可以做到：50。因此我们t0, t1按照上面的第一个项目符号进行设置。
问题：不容易以编程方式实现。您将需要找到一种在不应用渐变的情况下输入LSTM的方法，例如冻结砝码或设置lr = 0。
LSTM何时以及如何在状态中“通过状态”？
时间：仅批次之间；样品是完全独立的
如何：在Keras，只批样品批次样品：stateful=True 需要你指定batch_shape，而不是input_shape-因为，Keras建立batch_size了LSTM的独立的国家在编制
根据以上情况，您不能执行以下 *** 作：
sampleNM = sample N at timestep(s) M
batch1 = [sample10, sample20, sample30, sample40]
batch2 = [sample21, sample41, sample11, sample31]

This implies

causally follows

- and will wreck training. Instead
do:

batch1 = [sample10, sample20, sample30, sample40]batch2 = [sample11, sample21, sample31, sample41]

批次与样本：其他信息

“批”是一组样本-1个或更大（此
答案总是假定为后者）。三种迭代数据的方法：批量梯度下降
（一次整个数据集），随机GD（一次一个样本）和Minibatch
GD（中间）。（
但是，在实践中，我们也称最后一个SGD，仅区分vs BGD-
对此答案假设如此。）差异：

SGD从未真正优化列车的损失函数-仅对其“近似值”进行了优化；每个批次都是整个数据集的子集，计算出的梯度仅与最小化该批次的损失有关。批次大小越大，其损失函数越类似于火车组。
上面的内容可以扩展到拟合批次与样本：样本是批次的近似值，或者数据集的近似性较差
首先拟合16个样本，然后再拟合16个样本与一次拟合32不相同-由于权重在中间进行更新，因此后半部分的模型输出将更改
实际上，与BGD相比，选择SGD的主要原因不是计算上的限制-而是在大多数情况下都是优越的。简单地解释一下：BGD可以很容易地过拟合，并且SGD可以通过探索更加多样化的损失空间来收敛到更好的测试数据解决方案。

欢迎分享，转载请注明来源：内存溢出

将时序数据馈入有状态LSTM的正确方法？