不偏推定量:なぜ不偏分散はn-1で割るのか:標本平均と不偏分散が不偏推定量であることを証明する【統計学】

標本平均と不偏分散が不偏推定量であることを証明します.この証明を通して,不偏分散の定義式にn-1が現れる原因を知ることができます.

標本平均と不偏分散はそれぞれ母平均と母分散の不偏推定量である

n個のiid確率変数X_1,...,X_nについて,

(i) 標本平均は母平均の不偏推定量である

標本平均(sample mean)

(1)   \begin{equation*} \bar X := \frac{1}{n}\sum_{i=1}^{n} X_i \end{equation*}

は,母平均

(2)   \begin{equation*} E[X_i]=\mu\quad (i=1,...,n)  \end{equation*}

に対する不偏推定量である.\square

(ii) 不偏分散は母分散の不偏推定量である

不偏分散(unbiased variance)

(3)   \begin{equation*} S_u^2 := \frac{1}{n-1}\sum_{i=1}^{n} (X_i -\bar X)^2 \end{equation*}

は,母分散

(4)   \begin{equation*} V[X_i]:=E\left[(X_i - E[X_i])^2 \right]=E\left[(X_i - \mu)^2 \right]=\sigma^2\quad (i=1,...,n)  \end{equation*}

に対する不偏推定量である.\square

証明

(i) 標本平均の不偏性

標本平均の定義(1)および母平均の定義(2)より,

(5)   \begin{eqnarray*} E\left[\bar X\right]  &=& E\left[ \frac{1}{n}\sum_{i=1}^{n} X_i \right]\\ &=& \frac{1}{n}\sum_{i=1}^{n} E\left[X_i \right]\\ &=& \frac{1}{n}\codt n E\left[X_i \right]\\ &=&  E\left[X_i \right]\\ &=& \mu. \end{eqnarray*}

よって標本平均は母平均の不偏推定量である.

(ii) 不偏分散の不偏性

不偏分散の定義(3)は

(6)   \begin{eqnarray*} S_u^2   &=& \frac{1}{n-1}\sum_{i=1}^{n} \left(X_i -\bar X \right)^2 \\ &=& \frac{1}{n-1}\sum_{i=1}^{n} \left( X_i^2 - 2X_i\bar X + (\bar X)^2 \right) \\ &=& \frac{n}{n-1} \cdot \frac{1}{n} \sum_{i=1}^{n}  X_i^2 - 2 \bar X \cdot \frac{n}{n-1} \cdot \frac{1}{n}\sum_{i=1}^{n} X_i + (\bar X)^2 \cdot \frac{1}{n-1}\sum_{i=1}^{n}1 \\ &=& \frac{n}{n-1} \overline{( X^2)} - 2 \bar X \cdot \frac{n}{n-1} \bar X + (\bar X)^2 \cdot \frac{n}{n-1} \\ &=& \frac{n}{n-1} \left\{ \overline{( X^2)} - (\bar X)^2 \right\}  \end{eqnarray*}

のように変形できる.(6)式の期待値をとると

(7)   \begin{eqnarray*} E\left[ S_u^2 \right]   &=& E\left[ \frac{n}{n-1} \left\{ \overline{( X^2)} - (\bar X)^2 \right\}  \right]\\ &=& \frac{n}{n-1} E\left[ \left\{ \overline{( X^2)} - (\bar X)^2 \right\}  \right]\\ &=& \frac{n}{n-1} \left\{ E\left[ \overline{( X^2)} \right] - E\left[ (\bar X)^2 \right] \right\} \end{eqnarray*}

を得る.(7)式のE\left[ \overline{( X^2)} \right]およびE\left[ (\bar X)^2 \right]は,それぞれ以下のように計算できる.
E\left[(X_i - \mu)^2 \right]=V[X_i]=\sigma^2に注意すると,E\left[ \overline{( X^2)} \right]

(8)   \begin{eqnarray*} E\left[ \overline{( X^2)} \right]  &=& E\left[ \frac{1}{n} \sum_{i=1}^{n}  X_i^2 \right] \\ &=& \frac{1}{n} \sum_{i=1}^{n} E\left[ X_i^2 \right] \\ &=& \frac{1}{n} \sum_{i=1}^{n} E\left[ (X_i - \mu)^2 + 2\mu X_i - \mu^2 \right] \\ &=& \frac{1}{n}\left\{ \sum_{i=1}^{n} E\left[(X_i - \mu)^2 \right] + 2\mu \sum_{i=1}^{n} E\left[ X_i \right] - \sum_{i=1}^{n} E\left[ \mu^2 \right] \right\} \\ &=&  \frac{1}{n}\left\{ \sum_{i=1}^{n} \sigma^2 + 2\mu \sum_{i=1}^{n} \mu - \sum_{i=1}^{n} \mu^2 \right\}\\ &=& \frac{1}{n}\left\{ n \sigma^2 + 2n\mu^2 - n \mu^2 \right\} \\ &=&  \sigma^2 + \mu^2 \end{eqnarray*}

となる.また,上式(8),および,X_i\;(i=1,..,n)はそれぞれiid確率変数であることにより

(9)   \begin{equation*} E[X_iX_j]= \left\{ \begin{array}{cc} E[X_i^2] & (i=j)\\ E[X_i]E[X_j] & (i\not=j) \end{array} \end{equation*}

が成り立つことに注意すると,E\left[ (\bar X)^2 \right]は,

(10)   \begin{eqnarray*} E\left[ (\bar X)^2 \right] &=& E\left[ \left( \frac{1}{n} \sum_{i=1}^{n}  X_i \right)^2 \right] \\ &=& E\left[ \left(\frac{1}{n} \sum_{i=1}^{n}  X_i \right)\left(\frac{1}{n} \sum_{j=1}^{n}  X_j \right) \right] \\ &=& \frac{1}{n^2} E\left[ X_1 X_1+X_1 X_2+\cdots + X_2 X_1 + \cdots + X_n X_n  \right] \\ &=& \frac{1}{n^2} E\left[ \sum_{i=1}^{n}\sum_{j=1}^{n}   X_i X_j \right] \\ &=& \frac{1}{n^2} \sum_{i=1}^{n}\sum_{j=1}^{n} E\left[ X_i X_j \right] \\ &=& \frac{1}{n^2} \sum_{i=1}^{n} E\left[ X_i^2 \right] + \frac{1}{n^2} \sum_{i=1}^{n}\sum_{j\not=i,j=1}^{n} E\left[ X_i X_j \right]\\ &=& \frac{1}{n} \left( \frac{1}{n}\sum_{i=1}^{n} E\left[ X_i^2 \right] \right) + \frac{1}{n^2} \sum_{i=1}^{n}\sum_{j\not=i,j=1}^{n} E\left[ X_i \right] E\left[ X_j \right]\\ &=& \frac{1}{n} \left( \frac{1}{n}\sum_{i=1}^{n} E\left[ X_i^2 \right] \right) + \frac{1}{n^2} \sum_{i=1}^{n} E\left[ X_i \right] \left( \sum_{j\not=i,j=1}^{n} E\left[ X_j \right]\right)\\ &=& \frac{1}{n} \left( \frac{1}{n}\sum_{i=1}^{n} E\left[ X_i^2 \right] \right) + \frac{1}{n^2} \sum_{i=1}^{n} E\left[ X_i \right] \left( \sum_{j\not=i,j=1}^{n} \mu \right)\\ &=& \frac{1}{n} \left( \frac{1}{n}\sum_{i=1}^{n} E\left[ X_i^2 \right] \right) + \frac{1}{n^2} \sum_{i=1}^{n} \mu \cdot (n-1) \mu \\ &=& \frac{1}{n} \left( \sigma^2 +\mu^2 \right) + \frac{1}{n^2} \cdot n(n-1)\mu^2\\ &=& \frac{1}{n} \sigma^2 + \frac{1}{n}\mu^2 + \frac{n-1}{n} \mu^2\\ &=& \frac{1}{n} \sigma^2 +  \mu^2\\ \end{eqnarray*}

となる.式(8)と式(10)を式(7)に代入すると,

(11)   \begin{eqnarray*} E\left[ S_u^2 \right]   &=& \frac{n}{n-1} \left\{ E\left[ \overline{( X^2)} \right] - E\left[ (\bar X)^2 \right] \right\}\\ &=& \frac{n}{n-1} \left\{ \sigma^2 +\mu^2 -\frac{1}{n} \sigma^2 -  \mu^2 \right\} \\ &=& \frac{n}{n-1}\cdot  \frac{n-1}{n} \sigma^2 \\ &=& \sigma^2 \end{eqnarray*}

となる.よって不偏分散S_u^2は母分散\sigma^2の不偏推定量である.

Remark

1.

統計量T=T(X_1,...,X_n)がパラメータ\thetaの不偏推定量であるとは,Tについて

(12)   \begin{equation*} E[T]=\theta \end{equation*}

が成り立つことである.

統計的推定,点推定値,推定量の定義と意味【統計学】
統計量(statistic)の定義と意味について【統計学】

2.

一般に,互いに独立な確率変数XYについて

(13)   \begin{equation*} E[X+Y]=E[X]+E[Y] \end{equation*}

が成り立つので,iid確率変数X_i\;(i=1,..,n)について

(14)   \begin{eqnarray*} E\left[ \sum_{i=1}^{n}  X_i \right] &=& E\left[ X_1+\cdots + X_n \right] \\ &=& E\left[ X_1 \right] + \cdots + E\left[ X_n \right] \\ &=& \sum_{i=1}^{n} E\left[ X_i \right]  \end{eqnarray*}

が成り立つ.

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です