循环神经网络RNN基础（一）

像是股票、基因组序列这种数据，t-1时刻的数据很有可能会被t时刻的数据存在影响的（像是隐马尔科夫模型），我们称之为序列数据。为了处理这种数据，RNN应运而生，像是存在一定的记忆性。在RNN中，上一时刻隐藏层的的状态参与到了这一时刻的计算，如下图所示。

在t时刻，除了输入xt，还有上一时刻t-1时刻的中间隐藏层的值st-1也被传到了t时刻当做输入。对于t时刻，就同时考虑到了此时和上一时刻的数据。

RNN可以应用于：语音识别、文本分类、情感分类、机器翻译以及我们所熟悉的DNA/RNA序列的分析等等。

RNN存在以下几种不同的结构：

对于简单的RNN模型容易存在以下两种问题：梯度消失和梯度爆炸。这是因为在反向传播算法计算的过程中，假如梯度小于1，那么在较多的层数的连乘中，梯度可能会逐渐趋近于0，造成梯度消失。

（随缘更新RNN~）

1．查询方式、2．中断方式、3．DMA方式。

循环神经网络（RNN/recurrentneuralnetwork）是一类人工神经网络，其可以通过为网络添加额外的权重来在网络图（networkgraph）中创建循环，以便维持一个内部状态。为神经网络添加状态的好处是它们将能在序列预测问题中明确地学习和利用背景信息（context）。

这类问题包括带有顺序或时间组件的问题。在这篇文章中，你将踏上了解用于深度学习的循环神经网络的旅程。在读完这篇文章后，你将了解：用于深度学习的顶级循环神经网络的工作方式，其中包括LSTM、GRU和NTM、顶级RNN与人工神经网络中更广泛的循环（recurrence）研究的相关性。

RNN研究如何在一系列高难度问题上实现了当前最佳的表现。注意，我们并不会覆盖每一种可能的循环神经网络，而是会重点关注几种用于深度学习的循环神经网络（LSTM、GRU和NTM）以及用于理解它们的背景。

那就让我们开始吧！概述我们首先会设置循环神经网络领域的场景；然后，我们将深入了解用于深度学习的LSTM、GRU和NTM；之后我们会花点时间介绍一些与用于深度学习的RNN相关的高级主题。

深度学习是多层的神经网络。RNN和elman神经网络是深度学习的主要内容之一。深度学习绝不仅仅是多层的神经网络。网络必须拥有一定的”记忆能力”。为了赋予网络这样的记忆力，一种特殊结构的神经网络——递归神经网络(Recurrent Neural Network)便应运而生了。Elman神经网络是 J L Elman于1990年首先针对语音处理问题而提出来的，是一种典型的局部回归网络( global feed forward local recurrent)。