ARMA理论type
status
date
slug
summary
tags
category
icon
password
Property
AR(p)模型
(Auto Regression Model)
，也就是白噪声过程
，也就是回归的自变量与残差无关
中心化AR模型
当，称为中心化AR(p)模型
附加条件序列平稳后，
可以把AR(p)中心化：
算子
延迟算子
记为延迟算子，定义为
中心化AR(p)又可以记为：
其中，
格林函数
AR(p)模型为例，如果平稳，那么可以写成
定义为
记，AR(p)模型就可以记为
平稳
AR(p)模型本身不要求序列平稳，但往往平稳过程才能用于AR(p)的分析中。因此，使用AR之前，要判别序列是否平稳。平稳性判别有两种方法：
- 特征根判别
AR(p)平稳的充要条件是它的p个特征根都在单位圆内。
也就是， 对应的特征方程， 的根（叫做特征根 ）在单位圆外。
（特征方程是这个： 它的根叫做特征根)
- 平稳域判别
根据解的取值范围，判断系数约束集合{ 特征根都在单位圆内}
AR(p)的性质
均值(如果平稳):
如果是中心化AR(p)，并且要求序列平稳的话，
(证明：
（附加平稳性条件后，可以推导出AR(p)的ACF拖尾性）
在AR(p)模型中，p阶PACF的值，实际上就是AR(p)第p项回归系数值。（根据PACF的定义推导）
以AR(1),AR(2)为例：
ACF:
PACF:
MA(q)模型
(Moving Average Model)
其中
（白噪声）
当 ，称为 中心化MA(q) 模型
也可以写成：
MA的性质
常数均值
常数方差
自协方差函数q阶截尾（证明提要： ，滞后多于q不相关，少于q有限个相关）
MA还有一个性质，同一组自相关和偏自相关系数，可以对应两个MA模型，定义其中一个叫做 可逆的MA模型。可逆MA模型的形式与AR类似，所以也可以使用单位根判别其是否是AR模型
可逆MA模型可以转换成
ARMA(p,q)模型
(Auto Regressioin Moving Average Model)
其中
（白噪声）
，也就是回归的自变量与残差无关
当c=0，称为中心化ARMA(p,q)模型
平稳性：AR部分的自回归系数多项式 的根都在单位圆外
可逆性：MA部分的移动平均系数多项式的根都在单位圆外
p,d,q的确定
d的识别
ARMA模型要求数据平稳，当数据不平稳时，需要差分。如果d阶差分后，序列平稳，叫做
d阶单整序列如果差分很多次，还是不平稳。或者差分后已经失去研究意义了，那么就放弃ARIMA模型。p,q的识别
AR(p) | MA(q) | ARMA(p,q) | |
ACF | 拖尾 | q期后截尾 | 拖尾 |
PACF | p期后截尾 | 拖尾 | 拖尾 |
识别的困难：
由于样本的随机性，样本ACF,PACF不会呈现完美的理论截尾情况，而是在零值附近震荡，因此需要用统计学手段进行假设检验
Barlett
Quenouille
求出各自的95%置信区间:
以这个方法定阶：
d阶之前明显在落在置信区间外，d阶之后几乎95%落在置信区间内，并且d阶前后衰减非常突然，那么判断截尾阶数为d
参数估计
确定模型以及后，有个参数需要估计：
- 距估计
- 思路简单
- 不需要假设总体分布
- 低阶场合下，计算量小
- 信息浪费严重：只用到p+q个样本的自相关系数。
- （所以）估计精度差
用样本的自相关系数估计总体的自相关系数，用样本的均值估计总体的均值，用样本的方差估计总体的方差。用系数表示以上统计量，便可以列方程计算系数。
优点：
缺点：
在极大似然估计和最小二乘法中，需要迭代运算，那么迭代的最初值往往用矩估计的结果。
- 极大似然估计
- 充分运用每一个观察值的信息，精度高
- 有优良的统计性质
- 需要假定总体分布（正态分布）
先假定正态分布，然后求似然函数
优点：
缺点：
- 最小二乘法
- 充分运用每一个观察值的信息，精度高
- 有优良的统计性质
- 需要假定总体分布（正态分布）
优点：
缺点：
ACF和PACF
ACF
自相关系数ACF的定义：
计算公式是：
ACF也是一个随机变量。当序列是完全随机序列时，
PACF
偏自相关系数PACF的定义： 在给定的条件下， 与之间的条件相关。
计算方法：
其中， 就是偏自相关系数， 是已经计算得到的自相关系数
其中，
模型检验
- 模型显著性检验：用来检验模型对信息的提取是否充分
检验对象：残差序列判断原则：一个好的拟合模型，应该能够提取几乎所有信息，那么残差序列应该是白噪声序列。如果残差不是白噪声序列，说明还有信息没有提取完全
白噪声检验H0 ，然后用LB统计量服从卡方分布，从而进行检验
p>0.05，不拒绝原假设，认为显著。
- 参数显著性检验：用来检验模型结构是否最简
检验参数是否显著非0，删除不显著的参数，使模型结构最简
H0:
构建统计量
p<0.05,否定原假设，说明系数显著。
模型优化
问题提出：当一个拟合模型通过了检验，说明在一定的置信水平下，该模型能有效地拟合观察值序列的波动，但这种有效模型并不是唯一的。
优化的目的：选择相对最优模型
一个例子：某个时间序列ACF 2阶截尾，适合MA(2)模型；同时PACF 1阶截尾，适合AR(1)模型。首先拟合MA(2),AR(1)两个模型，发现方程显著，参数也显著。同一个序列可以构造两个拟合模型，两个模型都显著有效，那么到底该选择哪个模型用于统计推断呢？
AIC准则
最小信息量准则（An Information Criterion） 指导思想：
- 似然函数值越大越好
- 未知参数的个数越少越好
AIC统计量其中，第一部分是似然函数的相反数， 是未知参数的个数
BIC准则
AIC的缺陷：在样本容量趋于无穷大时，由AIC准则选择的模型不收敛于真实模型，它通常比真实模型所含的未知参数个数要多
时间序列的预测
- 线性预测函数:就是把各期数字代入式子，求出结果
- 方差最小原则
可以计算一下值的表达式：
进而找出95%置信区间。
对于AR模型，期数越多，95%置信区间越大。对于MA模型，期数越多，方差越大，若干期后，均值和方差都固定到最大。
修正预测
定义：所谓的修正预测就是研究如何利用新的信息去获得精度更高的预测值方法：在新的信息量比较大时——把新信息加入到旧的信息中，重新拟合模型在新的信息量很小时——不重新拟合模型，只是将新的信息加入以修正预测值，提高预测精度