不偏推定量：なぜ不偏分散はn-1で割るのか：標本平均と不偏分散が不偏推定量であることを証明する【統計学】

標本平均と不偏分散が不偏推定量であることを証明します．この証明を通して，不偏分散の定義式にn-1が現れる原因を知ることができます．

【スマホでの数式表示について】

当サイトをスマートフォンなど画面幅が狭いデバイスで閲覧すると，数式が画面幅に収まりきらず，正確に表示されない場合があります．その際は画面を回転させ横長表示にするか，ブラウザの表示設定を「PCサイト」にした上でご利用ください．

標本平均と不偏分散はそれぞれ母平均と母分散の不偏推定量である

$n$ 個のiid確率変数 $X_1,...,X_n$ について，

(i) 標本平均は母平均の不偏推定量である

標本平均(sample mean)

(1) $\begin{equation*} \bar X := \frac{1}{n}\sum_{i=1}^{n} X_i \end{equation*}$

は，母平均

(2) $\begin{equation*} E[X_i]=\mu\quad (i=1,...,n) \end{equation*}$

に対する不偏推定量である． $\square$

(ii) 不偏分散は母分散の不偏推定量である

不偏分散(unbiased variance)

(3) $\begin{equation*} S_u^2 := \frac{1}{n-1}\sum_{i=1}^{n} (X_i -\bar X)^2 \end{equation*}$

は，母分散

(4) $\begin{equation*} V[X_i]:=E\left[(X_i - E[X_i])^2 \right]=E\left[(X_i - \mu)^2 \right]=\sigma^2\quad (i=1,...,n) \end{equation*}$

に対する不偏推定量である． $\square$

証明

(i) 標本平均の不偏性

標本平均の定義(1)および母平均の定義(2)より，

(5) $\begin{eqnarray*} E\left[\bar X\right] &=& E\left[ \frac{1}{n}\sum_{i=1}^{n} X_i \right]\\ &=& \frac{1}{n}\sum_{i=1}^{n} E\left[X_i \right]\\ &=& \frac{1}{n}\codt n E\left[X_i \right]\\ &=& E\left[X_i \right]\\ &=& \mu. \end{eqnarray*}$

よって標本平均は母平均の不偏推定量である．

(ii) 不偏分散の不偏性

不偏分散の定義(3)は

(6) $\begin{eqnarray*} S_u^2 &=& \frac{1}{n-1}\sum_{i=1}^{n} \left(X_i -\bar X \right)^2 \\ &=& \frac{1}{n-1}\sum_{i=1}^{n} \left( X_i^2 - 2X_i\bar X + (\bar X)^2 \right) \\ &=& \frac{n}{n-1} \cdot \frac{1}{n} \sum_{i=1}^{n} X_i^2 - 2 \bar X \cdot \frac{n}{n-1} \cdot \frac{1}{n}\sum_{i=1}^{n} X_i + (\bar X)^2 \cdot \frac{1}{n-1}\sum_{i=1}^{n}1 \\ &=& \frac{n}{n-1} \overline{( X^2)} - 2 \bar X \cdot \frac{n}{n-1} \bar X + (\bar X)^2 \cdot \frac{n}{n-1} \\ &=& \frac{n}{n-1} \left\{ \overline{( X^2)} - (\bar X)^2 \right\} \end{eqnarray*}$

のように変形できる．(6)式の期待値をとると

(7) $\begin{eqnarray*} E\left[ S_u^2 \right] &=& E\left[ \frac{n}{n-1} \left\{ \overline{( X^2)} - (\bar X)^2 \right\} \right]\\ &=& \frac{n}{n-1} E\left[ \left\{ \overline{( X^2)} - (\bar X)^2 \right\} \right]\\ &=& \frac{n}{n-1} \left\{ E\left[ \overline{( X^2)} \right] - E\left[ (\bar X)^2 \right] \right\} \end{eqnarray*}$

を得る．(7)式の $E\left[ \overline{( X^2)} \right]$ および $E\left[ (\bar X)^2 \right]$ は，それぞれ以下のように計算できる．
$E\left[(X_i - \mu)^2 \right]=V[X_i]=\sigma^2$ に注意すると， $E\left[ \overline{( X^2)} \right]$ は

(8) $\begin{eqnarray*} E\left[ \overline{( X^2)} \right] &=& E\left[ \frac{1}{n} \sum_{i=1}^{n} X_i^2 \right] \\ &=& \frac{1}{n} \sum_{i=1}^{n} E\left[ X_i^2 \right] \\ &=& \frac{1}{n} \sum_{i=1}^{n} E\left[ (X_i - \mu)^2 + 2\mu X_i - \mu^2 \right] \\ &=& \frac{1}{n}\left\{ \sum_{i=1}^{n} E\left[(X_i - \mu)^2 \right] + 2\mu \sum_{i=1}^{n} E\left[ X_i \right] - \sum_{i=1}^{n} E\left[ \mu^2 \right] \right\} \\ &=& \frac{1}{n}\left\{ \sum_{i=1}^{n} \sigma^2 + 2\mu \sum_{i=1}^{n} \mu - \sum_{i=1}^{n} \mu^2 \right\}\\ &=& \frac{1}{n}\left\{ n \sigma^2 + 2n\mu^2 - n \mu^2 \right\} \\ &=& \sigma^2 + \mu^2 \end{eqnarray*}$

となる．また，上式(8)，および， $X_i\;(i=1,..,n)$ はそれぞれiid確率変数であることにより

(9) $\begin{equation*} E[X_iX_j]= \left\{ \begin{array}{cc} E[X_i^2] & (i=j)\\ E[X_i]E[X_j] & (i\not=j) \end{array} \end{equation*}$

が成り立つことに注意すると， $E\left[ (\bar X)^2 \right]$ は，

(10) $\begin{eqnarray*} E\left[ (\bar X)^2 \right] &=& E\left[ \left( \frac{1}{n} \sum_{i=1}^{n} X_i \right)^2 \right] \\ &=& E\left[ \left(\frac{1}{n} \sum_{i=1}^{n} X_i \right)\left(\frac{1}{n} \sum_{j=1}^{n} X_j \right) \right] \\ &=& \frac{1}{n^2} E\left[ X_1 X_1+X_1 X_2+\cdots + X_2 X_1 + \cdots + X_n X_n \right] \\ &=& \frac{1}{n^2} E\left[ \sum_{i=1}^{n}\sum_{j=1}^{n} X_i X_j \right] \\ &=& \frac{1}{n^2} \sum_{i=1}^{n}\sum_{j=1}^{n}　E\left[ X_i X_j \right] \\ &=& \frac{1}{n^2} \sum_{i=1}^{n}　E\left[ X_i^2 \right] + \frac{1}{n^2} \sum_{i=1}^{n}\sum_{j\not=i,j=1}^{n}　E\left[ X_i X_j \right]\\ &=& \frac{1}{n} \left( \frac{1}{n}\sum_{i=1}^{n}　E\left[ X_i^2 \right] \right) + \frac{1}{n^2} \sum_{i=1}^{n}\sum_{j\not=i,j=1}^{n}　E\left[ X_i \right] E\left[ X_j \right]\\ &=& \frac{1}{n} \left( \frac{1}{n}\sum_{i=1}^{n}　E\left[ X_i^2 \right] \right) + \frac{1}{n^2} \sum_{i=1}^{n} E\left[ X_i \right] \left( \sum_{j\not=i,j=1}^{n}　E\left[ X_j \right]\right)\\ &=& \frac{1}{n} \left( \frac{1}{n}\sum_{i=1}^{n}　E\left[ X_i^2 \right] \right) + \frac{1}{n^2} \sum_{i=1}^{n} E\left[ X_i \right] \left( \sum_{j\not=i,j=1}^{n} \mu \right)\\ &=& \frac{1}{n} \left( \frac{1}{n}\sum_{i=1}^{n}　E\left[ X_i^2 \right] \right) + \frac{1}{n^2} \sum_{i=1}^{n} \mu \cdot (n-1) \mu \\ &=& \frac{1}{n} \left( \sigma^2 +\mu^2 \right) + \frac{1}{n^2} \cdot n(n-1)\mu^2\\ &=& \frac{1}{n} \sigma^2 + \frac{1}{n}\mu^2 + \frac{n-1}{n} \mu^2\\ &=& \frac{1}{n} \sigma^2 + \mu^2\\ \end{eqnarray*}$

となる．式(8)と式(10)を式(7)に代入すると，

(11) $\begin{eqnarray*} E\left[ S_u^2 \right] &=& \frac{n}{n-1} \left\{ E\left[ \overline{( X^2)} \right] - E\left[ (\bar X)^2 \right] \right\}\\ &=& \frac{n}{n-1} \left\{ \sigma^2 +\mu^2 -\frac{1}{n} \sigma^2 - \mu^2 \right\} \\ &=& \frac{n}{n-1}\cdot \frac{n-1}{n} \sigma^2 \\ &=& \sigma^2 \end{eqnarray*}$

となる．よって不偏分散 $S_u^2$ は母分散 $\sigma^2$ の不偏推定量である．

Remark

1.

統計量 $T=T(X_1,...,X_n)$ がパラメータ $\theta$ の不偏推定量であるとは， $T$ について

(12) $\begin{equation*} E[T]=\theta \end{equation*}$

が成り立つことである．

統計的推定，点推定値，推定量の定義と意味【統計学】
統計量(statistic)の定義と意味について【統計学】

2.

一般に，~~互いに独立な~~確率変数 $X$ ， $Y$ について

(13) $\begin{equation*} E[X+Y]=E[X]+E[Y] \end{equation*}$

が成り立つので，iid確率変数 $X_i\;(i=1,..,n)$ について

(14) $\begin{eqnarray*} E\left[ \sum_{i=1}^{n} X_i \right] &=& E\left[ X_1+\cdots + X_n \right] \\ &=& E\left[ X_1 \right] + \cdots + E\left[ X_n \right] \\ &=& \sum_{i=1}^{n} E\left[ X_i \right] \end{eqnarray*}$