应用时间序列分析

应用时间序列分析如下：

是2017年清华大学出版社出版的图书，作者是白晓东。结合实际例子讲述时间序列分析的原理、方法和实现。

本书主要介绍了时间序列的时域分析方法，内容包括时间序列的基本概念、时序数据的预处理方式、时序数据的分解和平滑、趋势的消除、单位根检验和协整、平稳时间序列模型、非平稳时间序列模型。

书通俗易懂，理论与应用并重，可作为高等院校统计、经济、商科、工程以及定量社会科学等相关专业的高年级本科生学习时间序列分析的教材或教学参考书，也可作为硕士研究生使用R软件学习时间序列分析的入门书。

数据采集站工作原理是：利用一种无线模块，传感器，从系统外部采集数据并输入到系统内部的进行数据统计的一个应用系统。

其工作原理是从无线模块和传感器其它待测设备等模拟和数字被测单元中自动采集非电量或者电量信号，送到计算机系统中进行分析，处理。

数据采集是为了测量电压，电流，温度，压力，湿度，压力等物理现象而开发出一套应用系统，它基于无线模块，传感器等硬件结合应用软件和计算机，进行测量各种物理现象。

数据采集站的工作方式是：

数据采集的工作方式是将传感器采集到的各种物理现象转换成电讯号通过无线模块传输到计算机中，计算机又将电讯号传换成我们能理解的物理单位。

采集一般是采样方式，隔一段时间对同一点数据进行重复采集。采集的数据大多是瞬时值，也可以是某段时间内的一个特征值。

并且我国是作为世界第一制造大国，工业数据采集领域有着巨大的潜力，随着物联网不断的更新换代，企业也对工业数据采集的实时性，可靠性，专业性有着更加严格的要求。

相比较传统以往的数据采集，现在发工业数据采集逐步在往大数据领域不断的靠近，传统的数据采集来源单一，储存、管理等会显得越来越乏力，工业数据采集采集的发展会向着大数据方向靠拢发展。

时间序列是指一组在连续时间上测得的数据，其在数学上的定义是一组向量x(t), t=0,1,2,3,...，其中t表示数据所在的时间点，x(t)是一组按时间顺序（测得）排列的随机变量。包含单个变量的时间序列称为单变量时间序列，而包含多个变量的时间序列则称为多变量。

时间序列在很多方面多有涉及到，如天气预报，每天每个小时的气温，股票走势等等，在商业方面有诸多应用，如：

下面我们将通过一个航班数据来说明如何使用已有的工具来进行时间序列数据预测。常用来处理时间序列的包有三个：

对于基于AR、MA的方法一般需要数据预处理，因此本文分为三部分：

通过简单的初步处理以及可视化可以帮助我们有效快速的了解数据的分布（以及时间序列的趋势）。

观察数据的频率直方图以及密度分布图以洞察数据结构，从下图可以看出：

使用 statsmodels 对该时间序列进行分解，以了解该时间序列数据的各个部分，每个部分都代表着一种模式类别。借用 statsmodels 序列分解我们可以看到数据的主要趋势成分、季节成分和残差成分，这与我们上面的推测相符合。

如果一个时间序列的均值和方差随着时间变化保持稳定，则可以说这个时间序列是稳定的。

大多数时间序列模型都是在平稳序列的前提下进行建模的。造成这种情况的主要原因是序列可以有许多种（复杂的）非平稳的方式，而平稳性只有一种，更加的易于分析，易于建模。

在直觉上，如果一段时间序列在某一段时间序列内具有特定的行为，那么将来很可能具有相同的行为。譬如已连续观察一个星期都是六点出太阳，那么可以推测明天也是六点出太阳，误差非常小。

而且，与非平稳序列相比，平稳序列相关的理论更加成熟且易于实现。

一般可以通过以下几种方式来检验序列的平稳性：

如果时间序列是平稳性的，那么在ACF/PACF中观测点数据与之前数据点的相关性会急剧下降。

下图中的圆锥形阴影是置信区间，区间外的数据点说明其与观测数据本身具有强烈的相关性，这种相关性并非来自于统计波动。

PACF在计算X(t)和X(t-h)的相关性的时候，挖空在（t-h，t）上所有数据点对X(t)的影响，反应的是X(t)和X(t-h)之间真实的相关性（直接相关性）。

从下图可以看出，数据点的相关性并没有急剧下降，因此该序列是非平稳的。

如果序列是平稳的，那么其滑动均值/方差会随着时间的变化保持稳定。

但是从下图我们可以看到，随着时间的推移，均值呈现明显的上升趋势，而方差也呈现出波动式上升的趋势，因此该序列是非平稳的。

一般来讲p值小于0.05我们便认为其是显著性的，可以拒绝零假设。但是这里的p值为0.99明显是非显著性的，因此接受零假设，该序列是非平稳的。

从上面的平稳性检验我们可以知道该时间序列为非平稳序列。此外，通过上面1.3部分的序列分解我们也可以看到，该序列可分解为3部分：

我们可以使用数据转换来对那些较大的数据施加更大的惩罚，如取对数、开平方根、立方根、差分等，以达到序列平稳的目的。

滑动平均后数据失去了其原来的特点（波动式上升），这样损失的信息过多，肯定是无法作为后续模型的输入的。

差分是常用的将非平稳序列转换平稳序列的方法。ARIMA中的 'I' 便是指的差分，因此ARIMA是可以对非平稳序列进行处理的，其相当于先将非平稳序列通过差分转换为平稳序列再来使用ARMA进行建模。

一般差分是用某时刻数值减去上一时刻数值来得到新序列。但这里有一点区别，我们是使用当前时刻数值来减去其对应时刻的滑动均值。

我们来看看刚刚差分的结果怎么样。

让我们稍微总结下我们刚刚的步骤：

通过上面的3步我们成功的将一个非平稳序列转换成了一个平稳序列。上面使用的是最简单的滑动均值，下面我们试试指数滑动平均怎么样。

上面是最常用的指数滑动平均的定义，但是pandas实现的指数滑动平均好像与这个有一点区别，详细区别还得去查pandas文档。

指数滑动均值的效果看起来也很差。我们使用差分+指数滑动平均再来试试吧。

在上面我们通过 取log+(指数)滑动平均+差分 已经成功将非平稳序列转换为了平稳序列。

下面我们看看，转换后的平稳序列的各个成分是什么样的。不过这里我们使用的是最简单的差分，当前时刻的值等于原始序列当前时刻的值减去原始序列中上一时刻的值，即： x'(t) = x(t) - x(t-1)。

看起来挺不错，是个平稳序列的样子。不过，还是检验一下吧。

可以看到，趋势(Trend)部分已基本被去除，但是季节性(seasonal)部分还是很明显，而ARIMA是无法对含有seasonal的序列进行建模分析的。

在一开始我们提到了3个包均可以对时间序列进行建模。

为了简便，这里 pmdarima 和 statsmodels.tsa 直接使用最好的建模方法即SARIMA，该方法在ARIMA的基础上添加了额外功能，可以拟合seasonal部分以及额外添加的数据。

在使用ARIMA（Autoregressive Integrated Moving Average）模型前，我们先简单了解下这个模型。这个模型其实可以包括三部分，分别对应着三个参数（p, d, q）：

因此ARIMA模型就是将AR和MA模型结合起来然后加上差分，克服了不能处理非平稳序列的问题。但是，需要注意的是，其仍然无法对seasonal进行拟合。

下面开始使用ARIMA来拟合数据。

（1） 先分训练集和验证集。需要注意的是这里使用的原始数据来进行建模而非转换后的数据。

（2）ARIMA一阶差分建模并预测

（3）对差分结果进行还原

先手动选择几组参数，然后参数搜索找到最佳值。需要注意的是，为了避免过拟合，这里的阶数一般不太建议取太大。

可视化看看结果怎么样吧。

（6）最后，我们还能对拟合好的模型进行诊断看看结果怎么样。

我们主要关心的是确保模型的残差（residual）部分互不相关，并且呈零均值正态分布。若季节性ARIMA（SARIMA）不满足这些属性，则表明它可以进一步改善。模型诊断根据下面的几个方面来判断残差是否符合正态分布：

同样的，为了方便，我们这里使用 pmdarima 中一个可以自动搜索最佳参数的方法 auto_arima 来进行建模。

一般来说，在实际生活和生产环节中，除了季节项，趋势项，剩余项之外，通常还有节假日的效应。所以，在prophet算法里面，作者同时考虑了以上四项，即：

上式中，

更多详细Prophet算法内容可以参考 Facebook 时间序列预测算法 Prophet 的研究 。

Prophet算法就是通过拟合这几项，然后把它们累加起来得到时间序列的预测值。

Prophet提供了直观且易于调整的参数：

Prophet对输入数据有要求：

关于 Prophet 的使用例子可以参考 Prophet example notebooks

下面使用 Prophet 来进行处理数据。

参考：

Facebook 时间序列预测算法 Prophet 的研究

Prophet example notebooks

auto_arima documentation for selecting best model

数据分析技术：时间序列分析的AR/MA/ARMA/ARIMA模型体系

https://github.com/advaitsave/Introduction-to-Time-Series-forecasting-Python

时间序列分析

My First Time Series Comp (Added Prophet)

Prophet官方文档： https://facebookincubator.github.io

---