不偏推定量:なぜ不偏分散はn-1で割るのか:標本平均と不偏分散が不偏推定量であることを証明する【統計学】

標本平均と不偏分散が不偏推定量であることを証明します.この証明を通して,不偏分散の定義式にn-1が現れる原因を知ることができます.

【スマホでの数式表示について】

当サイトをスマートフォンなど画面幅が狭いデバイスで閲覧すると,数式が画面幅に収まりきらず,正確に表示されない場合があります.その際は画面を回転させ横長表示にするか,ブラウザの表示設定を「PCサイト」にした上でご利用ください.

標本平均と不偏分散はそれぞれ母平均と母分散の不偏推定量である

n個のiid確率変数X_1,...,X_nについて,

(i) 標本平均は母平均の不偏推定量である

標本平均(sample mean)

(1)   \begin{equation*} \bar X := \frac{1}{n}\sum_{i=1}^{n} X_i \end{equation*}

は,母平均

(2)   \begin{equation*} E[X_i]=\mu\quad (i=1,...,n)  \end{equation*}

に対する不偏推定量である.\square

(ii) 不偏分散は母分散の不偏推定量である

不偏分散(unbiased variance)

(3)   \begin{equation*} S_u^2 := \frac{1}{n-1}\sum_{i=1}^{n} (X_i -\bar X)^2 \end{equation*}

は,母分散

(4)   \begin{equation*} V[X_i]:=E\left[(X_i - E[X_i])^2 \right]=E\left[(X_i - \mu)^2 \right]=\sigma^2\quad (i=1,...,n)  \end{equation*}

に対する不偏推定量である.\square

証明

(i) 標本平均の不偏性

標本平均の定義(1)および母平均の定義(2)より,

(5)   \begin{eqnarray*} E\left[\bar X\right]  &=& E\left[ \frac{1}{n}\sum_{i=1}^{n} X_i \right]\\ &=& \frac{1}{n}\sum_{i=1}^{n} E\left[X_i \right]\\ &=& \frac{1}{n}\codt n E\left[X_i \right]\\ &=&  E\left[X_i \right]\\ &=& \mu. \end{eqnarray*}

よって標本平均は母平均の不偏推定量である.

(ii) 不偏分散の不偏性

不偏分散の定義(3)は

(6)   \begin{eqnarray*} S_u^2   &=& \frac{1}{n-1}\sum_{i=1}^{n} \left(X_i -\bar X \right)^2 \\ &=& \frac{1}{n-1}\sum_{i=1}^{n} \left( X_i^2 - 2X_i\bar X + (\bar X)^2 \right) \\ &=& \frac{n}{n-1} \cdot \frac{1}{n} \sum_{i=1}^{n}  X_i^2 - 2 \bar X \cdot \frac{n}{n-1} \cdot \frac{1}{n}\sum_{i=1}^{n} X_i + (\bar X)^2 \cdot \frac{1}{n-1}\sum_{i=1}^{n}1 \\ &=& \frac{n}{n-1} \overline{( X^2)} - 2 \bar X \cdot \frac{n}{n-1} \bar X + (\bar X)^2 \cdot \frac{n}{n-1} \\ &=& \frac{n}{n-1} \left\{ \overline{( X^2)} - (\bar X)^2 \right\}  \end{eqnarray*}

のように変形できる.(6)式の期待値をとると

(7)   \begin{eqnarray*} E\left[ S_u^2 \right]   &=& E\left[ \frac{n}{n-1} \left\{ \overline{( X^2)} - (\bar X)^2 \right\}  \right]\\ &=& \frac{n}{n-1} E\left[ \left\{ \overline{( X^2)} - (\bar X)^2 \right\}  \right]\\ &=& \frac{n}{n-1} \left\{ E\left[ \overline{( X^2)} \right] - E\left[ (\bar X)^2 \right] \right\} \end{eqnarray*}

を得る.(7)式のE\left[ \overline{( X^2)} \right]およびE\left[ (\bar X)^2 \right]は,それぞれ以下のように計算できる.
E\left[(X_i - \mu)^2 \right]=V[X_i]=\sigma^2に注意すると,E\left[ \overline{( X^2)} \right]

(8)   \begin{eqnarray*} E\left[ \overline{( X^2)} \right]  &=& E\left[ \frac{1}{n} \sum_{i=1}^{n}  X_i^2 \right] \\ &=& \frac{1}{n} \sum_{i=1}^{n} E\left[ X_i^2 \right] \\ &=& \frac{1}{n} \sum_{i=1}^{n} E\left[ (X_i - \mu)^2 + 2\mu X_i - \mu^2 \right] \\ &=& \frac{1}{n}\left\{ \sum_{i=1}^{n} E\left[(X_i - \mu)^2 \right] + 2\mu \sum_{i=1}^{n} E\left[ X_i \right] - \sum_{i=1}^{n} E\left[ \mu^2 \right] \right\} \\ &=&  \frac{1}{n}\left\{ \sum_{i=1}^{n} \sigma^2 + 2\mu \sum_{i=1}^{n} \mu - \sum_{i=1}^{n} \mu^2 \right\}\\ &=& \frac{1}{n}\left\{ n \sigma^2 + 2n\mu^2 - n \mu^2 \right\} \\ &=&  \sigma^2 + \mu^2 \end{eqnarray*}

となる.また,上式(8),および,X_i\;(i=1,..,n)はそれぞれiid確率変数であることにより

(9)   \begin{equation*} E[X_iX_j]= \left\{ \begin{array}{cc} E[X_i^2] & (i=j)\\ E[X_i]E[X_j] & (i\not=j) \end{array} \end{equation*}

が成り立つことに注意すると,E\left[ (\bar X)^2 \right]は,

(10)   \begin{eqnarray*} E\left[ (\bar X)^2 \right] &=& E\left[ \left( \frac{1}{n} \sum_{i=1}^{n}  X_i \right)^2 \right] \\ &=& E\left[ \left(\frac{1}{n} \sum_{i=1}^{n}  X_i \right)\left(\frac{1}{n} \sum_{j=1}^{n}  X_j \right) \right] \\ &=& \frac{1}{n^2} E\left[ X_1 X_1+X_1 X_2+\cdots + X_2 X_1 + \cdots + X_n X_n  \right] \\ &=& \frac{1}{n^2} E\left[ \sum_{i=1}^{n}\sum_{j=1}^{n}   X_i X_j \right] \\ &=& \frac{1}{n^2} \sum_{i=1}^{n}\sum_{j=1}^{n} E\left[ X_i X_j \right] \\ &=& \frac{1}{n^2} \sum_{i=1}^{n} E\left[ X_i^2 \right] + \frac{1}{n^2} \sum_{i=1}^{n}\sum_{j\not=i,j=1}^{n} E\left[ X_i X_j \right]\\ &=& \frac{1}{n} \left( \frac{1}{n}\sum_{i=1}^{n} E\left[ X_i^2 \right] \right) + \frac{1}{n^2} \sum_{i=1}^{n}\sum_{j\not=i,j=1}^{n} E\left[ X_i \right] E\left[ X_j \right]\\ &=& \frac{1}{n} \left( \frac{1}{n}\sum_{i=1}^{n} E\left[ X_i^2 \right] \right) + \frac{1}{n^2} \sum_{i=1}^{n} E\left[ X_i \right] \left( \sum_{j\not=i,j=1}^{n} E\left[ X_j \right]\right)\\ &=& \frac{1}{n} \left( \frac{1}{n}\sum_{i=1}^{n} E\left[ X_i^2 \right] \right) + \frac{1}{n^2} \sum_{i=1}^{n} E\left[ X_i \right] \left( \sum_{j\not=i,j=1}^{n} \mu \right)\\ &=& \frac{1}{n} \left( \frac{1}{n}\sum_{i=1}^{n} E\left[ X_i^2 \right] \right) + \frac{1}{n^2} \sum_{i=1}^{n} \mu \cdot (n-1) \mu \\ &=& \frac{1}{n} \left( \sigma^2 +\mu^2 \right) + \frac{1}{n^2} \cdot n(n-1)\mu^2\\ &=& \frac{1}{n} \sigma^2 + \frac{1}{n}\mu^2 + \frac{n-1}{n} \mu^2\\ &=& \frac{1}{n} \sigma^2 +  \mu^2\\ \end{eqnarray*}

となる.式(8)と式(10)を式(7)に代入すると,

(11)   \begin{eqnarray*} E\left[ S_u^2 \right]   &=& \frac{n}{n-1} \left\{ E\left[ \overline{( X^2)} \right] - E\left[ (\bar X)^2 \right] \right\}\\ &=& \frac{n}{n-1} \left\{ \sigma^2 +\mu^2 -\frac{1}{n} \sigma^2 -  \mu^2 \right\} \\ &=& \frac{n}{n-1}\cdot  \frac{n-1}{n} \sigma^2 \\ &=& \sigma^2 \end{eqnarray*}

となる.よって不偏分散S_u^2は母分散\sigma^2の不偏推定量である.

Remark

1.

統計量T=T(X_1,...,X_n)がパラメータ\thetaの不偏推定量であるとは,Tについて

(12)   \begin{equation*} E[T]=\theta \end{equation*}

が成り立つことである.

統計的推定,点推定値,推定量の定義と意味【統計学】
統計量(statistic)の定義と意味について【統計学】

2.

一般に,互いに独立な確率変数XYについて

(13)   \begin{equation*} E[X+Y]=E[X]+E[Y] \end{equation*}

が成り立つので,iid確率変数X_i\;(i=1,..,n)について

(14)   \begin{eqnarray*} E\left[ \sum_{i=1}^{n}  X_i \right] &=& E\left[ X_1+\cdots + X_n \right] \\ &=& E\left[ X_1 \right] + \cdots + E\left[ X_n \right] \\ &=& \sum_{i=1}^{n} E\left[ X_i \right]  \end{eqnarray*}

が成り立つ.

なお,下記の記事にある通り,「和の期待値」=「期待値の和」を示すために,確率変数の独立性を仮定する必要はない.

「和の期待値」=「期待値の和」の計算:期待値の線形性の証明【確率論】

2018年8月10日

2 件のコメント

  • コメントを残す

    メールアドレスが公開されることはありません。 が付いている欄は必須項目です