時系列解析入門備忘録　１次の自己回帰モデルについて

· 時系列解析数学物理

はじめに

この記事では https://www.iwanami.co.jp/book/b265410.html を参考にしています。

第3章のp29にて

例　自己回帰モデルのスペクトル wnw_nを分散がσ2\sigma^2の白色雑音とする。時系列がyn=ayn−1+wny_n = a y_{n-1} + w_n（１次の自己回帰モデル）に従って生成されている場合には、自己共分散関数はCk=σ2(1−a2)−1a∣k∣C_k = \sigma^2 (1 - a^2)^{-1} a^{|k|}で与えられる。

とあります。自己共分散関数が天下り的に与えられていました。ちょっと分からなかったので、時系列がyn=ayn−1+wny_n = a y_{n - 1} + w_{n}（wnw_nは白色雑音）のとき、

Ck=σ2(1−a2)−1a∣k∣\begin{align} C_k = \sigma^2 (1 - a^2)^{-1} a^{|k|} \end{align}

を導出します。

準備

自己共分散関数の定義

自己共分散関数は次で与えられます。時系列をyny_nとしたとき、

Ck=E[(yn−μn)(yn−k−μn−k)]\begin{align} C_k = {\rm E}[ (y_n - \mu_n)(y_{n-k} - \mu_{n-k}) ] \end{align}

です。ここで、E[⋅]{\rm E}[\cdot]は期待値を表し、μn\mu_nはμn=E[yn]\mu_n = E[y_n]を表します。

弱定常の定義

時系列が弱定常であるとは、期待値、分散、共分散が次を満たすことです。

E[yn]=E[yn−k]=μ=const.Var[yn]=Var[yn−k]=const.Cov[yn,ym]=Cov[yn−k,ym−k]=const.\begin{align} {\rm E}[y_n] &= {\rm E}[y_{n-k}] = \mu = {\rm const.} \\ {\rm Var}[y_n] &= {\rm Var}[y_{n - k}] = {\rm const.} \\ {\rm Cov}[y_n, y_m] &= {\rm Cov}[y_{n - k}, y_{m - k}] = {\rm const.} \\ \end{align}

ここで、分散、共分散はそれぞれVar[yn]=E[(yn−μ)2], Cov[yn,ym]=E[(yn−μ)(ym−μ)]{\rm Var}[y_n] = E[(y_n - \mu)^2], \,{\rm Cov}[y_n, y_m] = {\rm E}[(y_n - \mu)(y_m - \mu)]と、具体的に期待値の表記で書かれます。

3つ目の共分散が定数であるという条件は、共分散関数

Ck:=Cov[yn,yn−k]\begin{align} C_k := {\rm Cov}[y_n, y_{n - k}] \end{align}

が、ラグkkのみに依存することと等価です。時間nnには依存しません。

1次の自己回帰モデル

時系列yny_nとして、1次の自己回帰モデルは

yn=ayn−1+wn\begin{align} y_n = a y_{n - 1} + w_n \end{align}

と表されるとします。ここでwnw_nは白色雑音(white noise)で、

E[wn]=0 ,Var[wn]=σ2\begin{align} {\rm E}[w_n] &= 0\,, \\ {\rm Var}[w_n] &= \sigma^2 \end{align}

を満たします。

1次の自己回帰モデルで∣a∣<1|a| < 1 ⇒\Rightarrow 弱定常

1次の自己回帰モデルyn=ayn−1+wny_n = a y_{n-1} + w_nで∣a∣<1|a| < 1ならば弱定常であることを示します。上記のセクションで言及したように、弱定常性をいうには期待値、分散、共分散関数が時間nnに依存しないことを示せばいいです。

(i)

まずは期待値を考えます。yn=ayn−1+wny_n = ay_{n-1} + w_nを順々に用いることで

yn=ayn−1+wn=a(ayn−2+wn−1)+wn=a2y2+awn−1+wn⋮=akyn−k+∑j=0k−1ajwn−j\begin{align} y_n &= ay_{n-1} + w_n \notag \\ &= a(ay_{n-2} + w_{n-1}) + w_n = a^2 y_2 + a w_{n-1} + w_n \notag \\ &\vdots \notag \\ &= a^k y_{n-k} + \sum_{j = 0}^{k-1} a^j w_{n-j} \end{align}

です。k→∞k \to \inftyが近似的に成立する程度に長い時系列を考えています。これの期待値をとると、

E[yn]=E[akyn−k+∑j=0k−1ajwn−j]=akE[yn−k]+∑j=0k−1ajE[wn−j]=akE[yn]⟶k→∞0\begin{align} {\rm E}[y_n] &= {\rm E} \left[ a^k y_{n-k} + \sum_{j = 0}^{k-1} a^j w_{n-j} \right] \notag \\ &= a^k {\rm E} [y_{n-k}] + \sum_{j=0}^{k-1} a^{j} E[w_{n-j}] \notag \\ &= a^k E[y_n] \underset{k\to\infty}{\longrightarrow} 0 \end{align}

となります。２行目で白色雑音の定義、３行目では∣a∣<1|a| < 1の条件を使用しています。

(ii)

次に分散を考えます。これもまた、期待値同様にk→∞k \to \inftyが近似的に成立する程度に長い時系列を考えています：

Var[yn]=Var[∑j=0∞ajwn−j]=∑j=0∞(aj)2Var[wn−j]=σ2∑j=0∞(aj)2=σ21−a2\begin{align} {\rm Var}[y_n] &= {\rm Var} \left[ \sum_{j=0}^\infty a^j w_{n-j} \right] \notag \\ &= \sum_{j=0}^\infty (a^j)^2 {\rm Var} [w_{n-j}] \notag \\ &= \sigma^2 \sum_{j=0}^\infty (a^j)^2 \notag \\ &= \frac{\sigma^2}{1 - a^2} \end{align}

これは定数、つまり時間に依存しませんのでVar[yn]=Var[yn−k]{\rm Var}[y_n] = {\rm Var}[y_{n-k}]を満たします。

(iii)

最後に自己共分散がラグkkのみに依存することを示します。k>0k > 0として、定義より

Ck=E[(yn−μ)(yn−k−μ)]=E[ynyn−k]=E[(ayn−1+wn)yn−k]=aE[yn−1yn−k]+E[wnyn−k]=aE[yn−1yn−k]=aCk−1=a2Ck−2=⋯=akC0=akVar[yn]=akσ21−a2\begin{align} C_k &= {\rm E} [(y_n - \mu) (y_{n-k} - \mu)] \notag \\ &= {\rm E} [y_n y_{n-k}] \notag \\ &= {\rm E} [(a y_{n-1} + w_n) y_{n-k}] \notag \\ &= a {\rm E} [y_{n-1} y_{n-k}] + {\rm E}[w_n y_{n-k}] \notag \\ &= a {\rm E} [y_{n-1} y_{n-k}] \notag \\ &= a C_{k-1} = a^2 C_{k-2} = \cdots = a^k C_0 \notag \\ &= a^k {\rm Var}[y_n] \notag \\ &= a^k \frac{\sigma^2}{1 - a^2} \end{align}

と計算できます。よってラグkkのみに依存し、時刻nnには依存しません。

以上(i)(ii)(iii)より、1次自己回帰モデルは弱定常であることが導けます。

１次の自己回帰モデルにおいて弱定常　⇒\Rightarrow ∣a∣<1|a| < 1

弱定常の1次自己回帰モデルならば∣a∣<1|a| < 1を満たす、ということの待遇は、∣a∣≥1|a| \geq 1ならば非定常である、ということを示せばよいです。

(i)

a=1a = 1のときを考えてみます（これはちょうどランダムウォークを考えている）。つまり、

yn=yn−1+wn=y0+∑i=0nwi\begin{align} y_n = y_{n-1} + w_n = y_0 + \sum_{i=0}^n w_i \end{align}

です。この分散は

Var[yn]=Var[y0+∑i=0nwi]=Var[y0]+∑i=0nVar[wi]=Var[y0]+nσ2\begin{align} {\rm Var}[y_n] &= {\rm Var} \left[ y_0 + \sum_{i=0}^n w_i \right] \notag \\ &= {\rm Var}[y_0] + \sum_{i=0}^n {\rm Var}[w_i] \notag \\ &= {\rm Var}[y_0] + n\sigma^2 \end{align}

であります。これはnnに依存していますので非定常です。

(ii)

∣a∣>1|a| > 1に対して、もし定常であればC0=σ2/(1−a2)C_0 = \sigma^2/(1-a^2)です。この仮定よりC0<0C_0 < 0となりますが、C0≥0C_0 \geq 0であることから矛盾が生じます。

(iii)

(ii)と同様に、定常であればC0=σ2/(1−a2)C_0 = \sigma^2/(1-a^2)です。しかし、これは発散してしまいますので、分散が定義できません。

したがって、(i)(ii)(iii)より∣a∣≥1|a| \geq 1であれば非定常、つまり弱定常ならば∣a∣≤1|a| \leq 1であることを示せました。

Ck=σ2(1−a2)−1a∣k∣C_k = \sigma^2 (1 - a^2)^{-1} a^{|k|}の導出

yny_nの分散を求めます：

E[yn2]=E[(ayn−1+wn)2]=a2E[yn2]+aE[ynwn]+E[wn2]=a2C0+σ2\begin{align} {\rm E}[{y_n^2}] &= {\rm E}[ (ay_{n-1} + w_n)^2 ] \notag \\ &= a^2 E[y_n^2] + a E[y_n w_n] + E[w_n^2] \notag \\ &= a^2 C_0 + \sigma^2 \end{align}

であるから、C0=a2C0+σ2C_0 = a^2 C_0 + \sigma^2です。よって

C0=σ21−a2\begin{align} C_0 = \frac{\sigma^2}{1 - a^2} \end{align}

です。このまま自己共分散関数を求めると、

Ck=E[ynyn−k]=E[(ayn−1+wn)yn−k]=aE[yn−1yn−k]+E[wnyn−k]=aCk−1=a2Ck−2=⋯=akC0=akσ21−a2\begin{align} C_k &= E[y_n y_{n-k}] \notag \\ &= E[(ay_{n-1} + w_n)y_{n-k}] \notag \\ &= a E[y_{n-1} y_{n-k}] + E[w_n y_{n-k}] \notag \\ &= a C_{k-1} \notag \\ &= a^2 C_{k-2} = \cdots = a^k C_0 \notag \\ &= a^k \frac{\sigma^2}{1 - a^2} \end{align}

となります。 ここでは、k>0k > 0を仮定していますが、CkC_kの定義よりCk=C−kC_k = C_{-k}なので

Ck=σ21−a2a∣k∣\begin{align} C_k = \frac{\sigma^2}{1 - a^2} a^{|k|} \end{align}

が導かれます。

参考文献

https://www.iwanami.co.jp/book/b265410.html