自己回帰モデルのパラメータの最小二乗推定【時系列解析，統計学】

最小二乗法(method of least squares)を用いて，与えられたデータから $p$ 次の自己回帰モデル(autoregressive model of order $p$ ; ${\rm AR}(p)$ )のパラメータを推定する方法を示します．

【スマホでの数式表示について】

当サイトをスマートフォンなど画面幅が狭いデバイスで閲覧すると，数式が画面幅に収まりきらず，正確に表示されない場合があります．その際は画面を回転させ横長表示にするか，ブラウザの表示設定を「PCサイト」にした上でご利用ください．

自己回帰モデルのパラメータの最小二乗推定

時刻 $\tau$ において観測されるデータを $y_{\tau}$ と書くことにし，このデータの時刻 $t-1$ 以前の時系列 $\{y_{t-1}, y_{t-2},\cdots \}$ が与えられたとする．また，この時系列データが $p$ 次の自己回帰過程

(1) $\begin{equation*} y_{\tau} = a_0 + a_1y_{\tau-1}+\cdots +a_jy_{\tau-j}+\cdots +a_py_{\tau-p}+\varepsilon_{\tau} \end{equation*}$

によって生成されたものであると仮定する．ただし $\varepsilon_{\tau}$ は平均0，分散 $\sigma^2$ の正規分布に従うホワイトノイズである．

この条件下で，パラメータ ${\bf a} = {^T(a_0, a_1, \cdots, a_p)}$ を最小二乗法により推定する．

◇

$p$ 次の自己回帰過程に対する線形予測子(linear predictor) $\hat y_{\tau}$ は

(2) $\begin{equation*} \hat y_{\tau} := a_0 + a_1y_{\tau-1}+\cdots +a_jy_{\tau-j}+\cdots +a_py_{\tau-p} \end{equation*}$

で定義される．また，残差 $r_{\tau}$ は

(3) $\begin{equation*} r_{\tau} := y_{\tau} - \hat y_{\tau} \end{equation*}$

で定義される．これらより，

(4) $\begin{eqnarray*} &&y_{\tau} = \hat y_{\tau} + r_{\tau} \qquad (\tau = t-1,\cdots,t-N) \\ &&\nonumber \\ &\Leftrightarrow& \left\{ \begin{array}{ccl} y_{t-1} & = & a_0 + a_1y_{t-2}+\cdots +a_jy_{t-1-j}+\cdots +a_py_{t-1-p} + r_{t-1}\\ \vdots && \\ y_{t-N} & = & a_0 + a_1y_{t-N-1}+\cdots +a_jy_{t-N-j}+\cdots +a_py_{t-N-p} + r_{t-N} \end{array} \\ &&\nonumber \\ &\Leftrightarrow& \left( \begin{array}{c} y_{t-1} \\ \vdots \\ y_{t-N} \end{array} \right) = \left( \begin{array}{cccc} 1 & y_{t-2} & \cdots & y_{t-1-p}\\ \vdots &\vdots&&\vdots \\ 1 & y_{t-N-1} & \cdots & y_{t-N-p} \end{array} \right) \left( \begin{array}{c} a_0 \\ \vdots \\ a_p \end{array} \right) + \left( \begin{array}{c} r_{t-1} \\ \vdots \\ r_{t-N} \end{array} \right)\\ &&\nonumber \\ &\Leftrightarrow& {\bf y} = Z{\bf a} + {\bf r} \end{eqnarray*}$

を得る．ただし

(5) $\begin{eqnarray*} {\bf y}:= \left( \begin{array}{c} y_{t-1} \\ \vdots \\ y_{t-N} \end{array} \right) \nonumber,\: Z:= \left( \begin{array}{cccc} 1 & y_{t-2} & \cdots & y_{t-1-p}\\ \vdots &\vdots&&\vdots \\ 1 & y_{t-N-1} & \cdots & y_{t-N-p} \end{array} \right), \nonumber \end{eqnarray*}$

(6) $\begin{eqnarray*} {\bf a} := \left( \begin{array}{c} a_0 \\ \vdots \\ a_p \end{array} \right)\nonumber, \: {\bf r} := \left( \begin{array}{c} r_{t-1} \\ \vdots \\ r_{t-N} \end{array} \right)\nonumber. \end{eqnarray*}$

最小二乗法では，残差平方和の極値条件

(7) $\begin{equation*} \nabla_{\bf a}\sum^N_{i=1} r_{t-i}^2 =\nabla_{\bf a} {\bf r}^2 = {\bf 0} \end{equation*}$

より，パラメータ ${\bf a}$ を決定する．ただし $\nabla_{\bf a} := \;^T(\frac{\partial}{\partial a_0},\frac{\partial}{\partial a_1},\cdots,\frac{\partial}{\partial a_p})$ ．また，

(8) $\begin{eqnarray*} {\bf r}^2 &=& \;^T{\bf r}\cdot{\bf r} \nonumber \\ &=& \;^T({\bf y}-Z{\bf a})\cdot({\bf y}-Z{\bf a}) \nonumber \\ &=& \;^T{\bf y}\cdot{\bf y} -\;^T(Z{\bf a})\cdot{\bf y} - \;^T{\bf y}\cdot Z{\bf a} + \;^T(Z{\bf a})\cdot Z{\bf a} \nonumber \\ &=& |{\bf y}|^2 - 2\;^T{\bf a}\;^TZ\cdot{\bf y} + |Z{\bf a}|^2 \end{eqnarray*}$

なので，(7)，(8)より

(9) $\begin{equation*} \nabla_{\bf a} {\bf r}^2 = - 2\;^TZ\cdot{\bf y} + 2\;^TZZ{\bf a} = {\bf 0} \end{equation*}$

したがって

(10) $\begin{equation*} ^TZZ{\bf a} = \;^TZ\cdot{\bf y} \end{equation*}$

である．これより， $(p+1)\times(p+1)$ 行列 $^TZZ$ が正則ならば，パラメータ ${\bf a}$ の推定値 ${\bf \hat a}$ が

(11) $\begin{equation*} {\bf \hat a} := (\;^TZZ)^{-1}\;^TZ\cdot{\bf y} \end{equation*}$

によって求まる．

要素毎の明示的計算による(10)式の導出は以下のようになる．(4)式より

(12) $\begin{equation*} y_{t-i} = a_0 + a_1y_{t-i-1}+\cdots +a_jy_{t-i-j}+\cdots +a_py_{t-i-p} + r_{t-i} \quad(i=1,\cdots,N). \end{equation*}$

すなわち

(13) $\begin{eqnarray*} {\bf r^2} &=& \sum^N_{i=1} r_{t-i}^2 \nonumber \\ &=& \sum^N_{i=1} \left( y_{t-i} - a_0 - a_1y_{t-i-1}-\cdots -a_jy_{t-i-j}-\cdots -a_py_{t-i-p} \right)^2 . \nonumber \end{eqnarray*}$

これを $a_j\;(j=0,\cdots,p)$ で微分する．

$j=0$ のとき，

(14) $\begin{eqnarray*} \frac{\partial {\bf r^2}}{\partial a_0} &=& \sum^N_{i=1} \frac{\partial}{\partial a_0} \left( y_{t-i} - a_0 - a_1y_{t-i-1}-\cdots -a_jy_{t-i-j}-\cdots -a_py_{t-i-p} \right)^2 \nonumber \\ &=& \sum^N_{i=1} 2 \left( y_{t-i} - a_0 - a_1y_{t-i-1}-\cdots -a_jy_{t-i-j}-\cdots -a_py_{t-i-p} \right)\cdot(-1) = 0 \nonumber \end{eqnarray*}$

(15) $\begin{equation*} \therefore \; \sum^N_{i=1} \left( y_{t-i} - a_0 - a_1y_{t-i-1}-\cdots -a_jy_{t-i-j}-\cdots -a_py_{t-i-p} \right) = 0 \end{equation*}$

(16) $\begin{equation*} \therefore \; a_0\cdot N + a_1\sum^N_{i=1} y_{t-i-1}+\cdots +a_j\sum^N_{i=1}y_{t-i-j} + \cdots + a_p\sum^N_{i=1}y_{t-i-p} = \sum^N_{i=1} y_{t-i} \end{equation*}$

$j\not=0$ のとき，

(17) $\begin{eqnarray*} \frac{\partial {\bf r^2}}{\partial a_j} &=& \sum^N_{i=1} \frac{\partial}{\partial a_j} \left( y_{t-i} - a_0 - a_1y_{t-i-1}-\cdots -a_jy_{t-i-j}-\cdots -a_py_{t-i-p} \right)^2 \nonumber \\ &=& \sum^N_{i=1} 2 \left( y_{t-i} - a_0 - a_1y_{t-i-1}-\cdots -a_jy_{t-i-j}-\cdots -a_py_{t-i-p} \right)\cdot(-y_{t-i-j}) \nonumber \\ &=& 0 \nonumber \end{eqnarray*}$

(18) $\begin{equation*} \therefore \; \sum^N_{i=1} \left( y_{t-i-j} y_{t-i} - a_0y_{t-i-j} - a_1y_{t-i-j}y_{t-i-1}-\cdots -a_py_{t-i-j}y_{t-i-p} \right) = 0 \end{equation*}$

(19) $\begin{equation*} \therefore \; a_0\sum^N_{i=1} y_{t-i-j} + a_1\sum^N_{i=1} y_{t-i-j}y_{t-i-1}+\cdots + a_p\sum^N_{i=1}y_{t-i-j}y_{t-i-p} = \sum^N_{i=1} y_{t-i-j}y_{t-i} \end{equation*}$

式(16)，(19)より，(10)式の明示的表現

(20) $\begin{eqnarray*} &&^TZZ = \\ &&\\ &&\left( \begin{array}{cccccc} N & \sum y_{t-i-1} & \cdots & \sum y_{t-i-k} & \cdots & \sumy_{t-i-p} \nonumber \\ &&&\nonumber \\ \sum y_{t-i-1} & \sum y_{t-i-1}y_{t-i-1} & \cdots & \sum y_{t-i-1}y_{t-i-k} & \cdots & \sum y_{t-i-1}y_{t-i-p}\nonumber \\ \vdots&\vdots&&\vdots& \nonumber \\ \sum y_{t-i-j} & \sum y_{t-i-j}y_{t-i-1} & \cdots & \sum y_{t-i-j}y_{t-i-k} & \cdots & \sum y_{t-i-j}y_{t-i-p}\nonumber \\ \vdots&\vdots&&\vdots& \nonumber \\ \sum y_{t-i-p} & \sum y_{t-i-p}y_{t-i-1} & \cdots & \sum y_{t-i-p}y_{t-i-k} & \cdots & \sum y_{t-i-p}y_{t-i-p}\nonumber \end{array} \right) \end{eqnarray*}$

(21) $\begin{equation*} ^TZ {\bf y} = \left( \begin{array}{c} \sum y_{t-i} \nonumber \\ \nonumber \\ \sum y_{t-i-1}y_{t-i} \nonumber \\ \vdots \nonumber \\ \sum y_{t-i-j}y_{t-i} \nonumber \\ \vdots \nonumber \\ \sum y_{t-i-p}y_{t-i} \nonumber \end{array} \right) \end{equation*}$