自己回帰モデルのパラメータの最小二乗推定【時系列解析,統計学】

【この記事の概要】

最小二乗法(method of least squares)を用いて,与えられたデータから p 次の自己回帰モデル(autoregressive model of order p; {\rm AR}(p) )のパラメータを推定する方法を示します.

【スマホでの数式表示について】

当サイトをスマートフォンなど画面幅が狭いデバイスで閲覧すると,数式が画面幅に収まりきらず,正確に表示されない場合があります.その際は画面を回転させ横長表示にするか,ブラウザの表示設定を「PCサイト」にした上でご利用ください.

自己回帰モデルのパラメータの最小二乗推定

時刻\tauにおいて観測されるデータをy_{\tau}と書くことにし,このデータの時刻t-1以前の時系列\{y_{t-1}, y_{t-2},\cdots \}が与えられたとする.また,この時系列データがp次の自己回帰過程

(1)   \begin{equation*} y_{\tau} = a_0 + a_1y_{\tau-1}+\cdots +a_jy_{\tau-j}+\cdots +a_py_{\tau-p}+\varepsilon_{\tau} \end{equation*}

によって生成されたものであると仮定する.ただし\varepsilon_{\tau}は平均0,分散\sigma^2の正規分布に従うホワイトノイズである.

この条件下で,パラメータ{\bf a} = {^T(a_0, a_1, \cdots, a_p)}を最小二乗法により推定する.

p次の自己回帰過程に対する線形予測子(linear predictor)\hat y_{\tau}

(2)   \begin{equation*} \hat y_{\tau} := a_0 + a_1y_{\tau-1}+\cdots +a_jy_{\tau-j}+\cdots +a_py_{\tau-p} \end{equation*}

で定義される.また,残差r_{\tau}

(3)   \begin{equation*} r_{\tau} := y_{\tau} - \hat y_{\tau} \end{equation*}

で定義される.これらより,

(4)   \begin{eqnarray*} &&y_{\tau} = \hat y_{\tau} + r_{\tau} \qquad (\tau = t-1,\cdots,t-N) \\ &&\nonumber \\ &\Leftrightarrow& \left\{ \begin{array}{ccl} y_{t-1} & = & a_0 + a_1y_{t-2}+\cdots +a_jy_{t-1-j}+\cdots +a_py_{t-1-p} + r_{t-1}\\ \vdots && \\ y_{t-N} & = & a_0 + a_1y_{t-N-1}+\cdots +a_jy_{t-N-j}+\cdots +a_py_{t-N-p} + r_{t-N} \end{array} \\ &&\nonumber \\ &\Leftrightarrow& \left( \begin{array}{c} y_{t-1} \\ \vdots \\ y_{t-N} \end{array} \right) = \left( \begin{array}{cccc} 1 & y_{t-2} & \cdots & y_{t-1-p}\\ \vdots &\vdots&&\vdots \\ 1 & y_{t-N-1} & \cdots & y_{t-N-p} \end{array} \right) \left( \begin{array}{c} a_0 \\ \vdots \\ a_p \end{array} \right) + \left( \begin{array}{c} r_{t-1} \\ \vdots \\ r_{t-N} \end{array} \right)\\ &&\nonumber \\ &\Leftrightarrow& {\bf y} = Z{\bf a} + {\bf r} \end{eqnarray*}

を得る.ただし

(5)   \begin{eqnarray*} {\bf y}:= \left( \begin{array}{c} y_{t-1} \\ \vdots \\ y_{t-N} \end{array} \right) \nonumber,\: Z:= \left( \begin{array}{cccc} 1 & y_{t-2} & \cdots & y_{t-1-p}\\ \vdots &\vdots&&\vdots \\ 1 & y_{t-N-1} & \cdots & y_{t-N-p} \end{array} \right), \nonumber \end{eqnarray*}

(6)   \begin{eqnarray*} {\bf a} := \left( \begin{array}{c} a_0 \\ \vdots \\ a_p \end{array} \right)\nonumber, \: {\bf r} := \left( \begin{array}{c} r_{t-1} \\ \vdots \\ r_{t-N} \end{array} \right)\nonumber. \end{eqnarray*}

最小二乗法では,残差平方和の極値条件

(7)   \begin{equation*} \nabla_{\bf a}\sum^N_{i=1} r_{t-i}^2 =\nabla_{\bf a} {\bf r}^2 = {\bf 0} \end{equation*}

より,パラメータ{\bf a}を決定する.ただし\nabla_{\bf a} := \;^T(\frac{\partial}{\partial a_0},\frac{\partial}{\partial a_1},\cdots,\frac{\partial}{\partial a_p}).また,

(8)   \begin{eqnarray*} {\bf r}^2 &=& \;^T{\bf r}\cdot{\bf r} \nonumber \\ &=& \;^T({\bf y}-Z{\bf a})\cdot({\bf y}-Z{\bf a}) \nonumber \\ &=& \;^T{\bf y}\cdot{\bf y} -\;^T(Z{\bf a})\cdot{\bf y} - \;^T{\bf y}\cdot Z{\bf a} + \;^T(Z{\bf a})\cdot Z{\bf a} \nonumber \\ &=& |{\bf y}|^2 - 2\;^T{\bf a}\;^TZ\cdot{\bf y} + |Z{\bf a}|^2 \end{eqnarray*}

なので,(7),(8)より

(9)   \begin{equation*} \nabla_{\bf a} {\bf r}^2 = - 2\;^TZ\cdot{\bf y} + 2\;^TZZ{\bf a} = {\bf 0} \end{equation*}

したがって

(10)   \begin{equation*} ^TZZ{\bf a} = \;^TZ\cdot{\bf y} \end{equation*}

である.これより,(p+1)\times(p+1)行列^TZZが正則ならば,パラメータ{\bf a}の推定値{\bf \hat a}

(11)   \begin{equation*} {\bf \hat a} := (\;^TZZ)^{-1}\;^TZ\cdot{\bf y} \end{equation*}

によって求まる.

要素毎の明示的計算による(10)式の導出は以下のようになる.(4)式より

(12)   \begin{equation*} y_{t-i} = a_0 + a_1y_{t-i-1}+\cdots +a_jy_{t-i-j}+\cdots +a_py_{t-i-p} + r_{t-i} \quad(i=1,\cdots,N). \end{equation*}

すなわち

(13)   \begin{eqnarray*} {\bf r^2} &=& \sum^N_{i=1} r_{t-i}^2 \nonumber \\ &=& \sum^N_{i=1} \left( y_{t-i} - a_0 - a_1y_{t-i-1}-\cdots -a_jy_{t-i-j}-\cdots -a_py_{t-i-p} \right)^2 . \nonumber \end{eqnarray*}

これをa_j\;(j=0,\cdots,p)で微分する.

j=0のとき,

(14)   \begin{eqnarray*} \frac{\partial {\bf r^2}}{\partial a_0} &=& \sum^N_{i=1} \frac{\partial}{\partial a_0} \left( y_{t-i} - a_0 - a_1y_{t-i-1}-\cdots -a_jy_{t-i-j}-\cdots -a_py_{t-i-p} \right)^2 \nonumber \\ &=& \sum^N_{i=1} 2 \left( y_{t-i} - a_0 - a_1y_{t-i-1}-\cdots -a_jy_{t-i-j}-\cdots -a_py_{t-i-p} \right)\cdot(-1) = 0 \nonumber \end{eqnarray*}

(15)   \begin{equation*} \therefore \; \sum^N_{i=1} \left( y_{t-i} - a_0 - a_1y_{t-i-1}-\cdots -a_jy_{t-i-j}-\cdots -a_py_{t-i-p} \right) = 0 \end{equation*}

(16)   \begin{equation*} \therefore \; a_0\cdot N + a_1\sum^N_{i=1} y_{t-i-1}+\cdots +a_j\sum^N_{i=1}y_{t-i-j} + \cdots + a_p\sum^N_{i=1}y_{t-i-p} = \sum^N_{i=1} y_{t-i} \end{equation*}

j\not=0のとき,

(17)   \begin{eqnarray*} \frac{\partial {\bf r^2}}{\partial a_j} &=& \sum^N_{i=1} \frac{\partial}{\partial a_j} \left( y_{t-i} - a_0 - a_1y_{t-i-1}-\cdots -a_jy_{t-i-j}-\cdots -a_py_{t-i-p} \right)^2 \nonumber \\ &=& \sum^N_{i=1} 2 \left( y_{t-i} - a_0 - a_1y_{t-i-1}-\cdots -a_jy_{t-i-j}-\cdots -a_py_{t-i-p} \right)\cdot(-y_{t-i-j}) \nonumber \\ &=& 0 \nonumber \end{eqnarray*}

(18)   \begin{equation*} \therefore \; \sum^N_{i=1} \left( y_{t-i-j} y_{t-i} - a_0y_{t-i-j} - a_1y_{t-i-j}y_{t-i-1}-\cdots -a_py_{t-i-j}y_{t-i-p} \right) = 0 \end{equation*}

(19)   \begin{equation*} \therefore \; a_0\sum^N_{i=1} y_{t-i-j} + a_1\sum^N_{i=1} y_{t-i-j}y_{t-i-1}+\cdots + a_p\sum^N_{i=1}y_{t-i-j}y_{t-i-p} = \sum^N_{i=1} y_{t-i-j}y_{t-i} \end{equation*}

式(16),(19)より,(10)式の明示的表現

(20)   \begin{eqnarray*} &&^TZZ = \\ &&\\ &&\left( \begin{array}{cccccc} N & \sum y_{t-i-1} & \cdots & \sum y_{t-i-k} & \cdots & \sumy_{t-i-p} \nonumber \\ &&&\nonumber \\ \sum y_{t-i-1} & \sum y_{t-i-1}y_{t-i-1} & \cdots & \sum y_{t-i-1}y_{t-i-k} & \cdots & \sum y_{t-i-1}y_{t-i-p}\nonumber \\ \vdots&\vdots&&\vdots& \nonumber \\ \sum y_{t-i-j} & \sum y_{t-i-j}y_{t-i-1} & \cdots & \sum y_{t-i-j}y_{t-i-k} & \cdots & \sum y_{t-i-j}y_{t-i-p}\nonumber \\ \vdots&\vdots&&\vdots& \nonumber \\ \sum y_{t-i-p} & \sum y_{t-i-p}y_{t-i-1} & \cdots & \sum y_{t-i-p}y_{t-i-k} & \cdots & \sum y_{t-i-p}y_{t-i-p}\nonumber \end{array} \right) \end{eqnarray*}

(21)   \begin{equation*} ^TZ {\bf y} = \left( \begin{array}{c} \sum y_{t-i} \nonumber \\ \nonumber \\ \sum y_{t-i-1}y_{t-i} \nonumber \\ \vdots \nonumber \\ \sum y_{t-i-j}y_{t-i} \nonumber \\ \vdots \nonumber \\ \sum y_{t-i-p}y_{t-i} \nonumber \end{array} \right) \end{equation*}

(ただし和\sum\sum^N_{i=1})

を得る.

2 件のコメント

  • コメントを残す

    メールアドレスが公開されることはありません。 が付いている欄は必須項目です