中心極限定理の証明 正規分布 【確率論】

中心極限定理を証明します.中心極限定理は,確率・統計において正規分布が特に重要であることの理論的根拠です.ここでは,証明に必要な概念の定義も併せて示します.

中心極限定理(central limit theorem)

X_1,X_2,\cdots,X_nを,平均\mu,分散\sigma^2の独立で同一な分布に従う(i.i.d.: independent and identically distributed)確率変数であるとする.これらの確率変数の平均

(1)   \begin{equation*} \overline{X}_n=\frac{1}{n}\sum^n_{k=1}X_k  \end{equation*}

もまたひとつの確率変数であり,n \to \inftyとしたとき,\overline{X}_nの分布は,平均\mu,分散\sigma^2/nの正規分布{\mathcal N}(\mu, \sigma^2/n)に近づく.□

準備

中心極限定理を証明するために,いくつかの概念を定義する.

定義1: モーメント(moment)

E[X]=\muを確率変数Xの期待値としたとき,E[X^m]を確率変数Xm次のモーメント(the mth moment)といい,E \left\big[(X-\mu)^m \right\big]を確率変数Xm次の中心モーメント(the mth central moment)という.□

 

期待値(expected value),分散(variance),歪度(わいど; skewness),尖度(せんど; kurtosis)は中心モーメントを用いて以下のように定義される:

(期待値) =\mu \;\; =E[X]     (i.e. 1次のモーメント)
( 分散 ) =\sigma^2 =E \left\big[(X-\mu)^2 \right\big]  (i.e. 2次の中心モーメント)
( 歪度 ) =E \left\big[(X-\mu)^3 \right\big]/\sigma^3
( 尖度 ) =E \left\big[(X-\mu)^4 \right\big]/\sigma^4

 

定義2: モーメント母関数(moment-generating function)

ある確率変数Xが与えられたとき,e^{\xi X}の期待値

(2)   \begin{equation*} M(\xi) := E[e^{\xi X}]  \end{equation*}

を確率変数Xのモーメント母関数(moment-generating function)という.ただし\xi \in {\mathbb R}である.□

 

e^z=1+z+z^2/2!+\cdotsE[X+Y]=E[X]+E[Y]E[c]=c (cは定数)などに注意して,式(2)の右辺を\xiについてのべき級数(i.e. マクローリン級数 Maclaurin series)に展開すると,

(3)   \begin{eqnarray*} M(\xi) &=& E[e^{\xi X}] = E\left\bigg[ 1+ (\xi X) + \frac{(\xi X)^2}{2!}+\cdots + \frac{(\xi X)^m}{m!}+\cdots \right\bigg] \\ &=& 1+ E[X]\xi + \frac{1}{2!}E\left[ X^2 \right]\xi^2 + \cdots + \frac{1}{m!}E\left[ X^m \right]\xi^m + \cdots  \end{eqnarray*}

のようにm次のモーメントE[X^m]が係数に現れるためM(\xi)はモーメント母関数と呼ばれる.また,M(\xi)\xiに関する微分をとると

(4)   \begin{eqnarray*} &&M'(\xi):=\frac{d}{d\xi}M(\xi) = \frac{d}{d\xi} \left\{1+ E[X]\xi + \frac{1}{2!}E\left[ X^2 \right]\xi^2 + \cdots \right\} \\ && \qquad \quad = E[X] + E[X^2]\xi + \frac{1}{2!}E\left[ X^3 \right]\xi^2 + \cdots \\ &&M''(\xi) = E[X^2] + E[X^3]\xi + \frac{1}{2!}E\left[ X^4 \right]\xi^2 + \cdots \\ &&M^{(m)}(\xi) = E[X^{m}] + E[X^{m+1}]\xi + \frac{1}{2!}E\left[ X^{m+2} \right]\xi^2 + \cdots  \end{eqnarray*}

となる.これらの式に\xi=0を代入すれば,m次モーメントE[X^{m}]

(5)   \begin{equation*} M^{(m)}(0)=E[X^{m}] \qquad(m=0,1,2,\cdots) \end{equation*}

のように得られる.

 

定義3: 特性関数(characteristic function)

ある確率変数Xが与えられたとき,e^{i\xi X}の期待値

(6)   \begin{equation*} \varphi(\xi) := E[e^{i\xi X}]  \end{equation*}

を確率変数Xの特性関数(characteristic function)という.ただし\xi \in {\mathbb R},またiは虚数単位(imaginary unit)である.□

 
確率変数Xが確率密度関数(pdf : probability density function) f(x)に従うとすると,その期待値E[X]は,Afの台(support) supp(f)として,

(7)   \begin{equation*} E[X] = \int_A x f(x) dx \end{equation*}

であり,Xを引数とする関数(可測関数)h(X)の期待値E[h(X)]

(8)   \begin{equation*} E[h(X)] = \int_A h(x) f(x) dx \end{equation*}

である.これより,Xの特性関数は

(9)   \begin{equation*} \varphi(\xi) = E[e^{i\xi X}] = \int_A f(x)e^{i\xi x} dx \end{equation*}

と書ける.
モーメント母関数の\xi\in {\mathbb R}を虚数i\xiで置き換えることにより,モーメント母関数は特性関数と関係付けられる.すなわち

(10)   \begin{equation*} \varphi(\xi) = M(i\xi) = E[e^{i\xi X}]. \end{equation*}

また式(3)と同様に,\varphi(\xi)i\xiについてべき級数展開すると

(11)   \begin{eqnarray*} \varphi(\xi) &=& E[e^{i\xi X}] = E\left\bigg[ 1+ (i\xi X) + \frac{(i\xi X)^2}{2!}+\cdots + \frac{(i\xi X)^m}{m!}+\cdots \right\bigg] \\ &=& 1+ E[X](i\xi) + \frac{1}{2!}E\left[ X^2 \right](i\xi)^2 + \cdots + \frac{1}{m!}E\left[ X^m \right](i\xi)^m + \cdots \end{eqnarray*}

さらに\varphi(\xi)i\xiに関するm階導関数\varphi^{(m)}(\xi)についても式(4)と同様に

(12)   \begin{equation*} \varphi^{(m)}(\xi) = \frac{d^m}{d(i\xi)^m}\varphi(\xi) = E[X^m]+ E\left[ X^{m+1} \right](i\xi) + \frac{1}{2!}E\left[ X^{m+2} \right](i\xi)^2 + \cdots \end{equation*}

となる.この式に\xi=0を代入すれば,m次モーメントE[X^{m}]

(13)   \begin{equation*} \varphi^{(m)}(0)=E[X^{m}] \qquad(m=0,1,2,\cdots) \end{equation*}

のように得られる.

 

定義4: キュムラント(cumulant)

特性関数の対数を

(14)   \begin{equation*} \ln \varphi(\xi) = \sum_{m=0}^{\infty} \kappa_m \frac{(i\xi)^m}{m!}  \end{equation*}

のようにべき級数展開したとき,その係数\kappa_mm次のキュムラント(the mth cumulant)という.□

 
式(14)の両辺から対数を落とすと,特性関数\varphi(\xi)

(15)   \begin{equation*} \varphi(\xi) = \exp \left\{ \sum_{m=0}^{\infty} \kappa_m \frac{(i\xi)^m}{m!} \right\} \end{equation*}

と書ける.

(16)   \begin{equation*} g(i\xi):=\ln \varphi(\xi)  \end{equation*}

と定義して,g(i\xi)をべき級数に展開すると

(17)   \begin{equation*} g(i\xi)=\sum_{m=0}^{\infty} \frac{g^{(m)}(0)}{m!}(i\xi)^m \qquad \bigg(\text{ただし}\; g^{(m)}(0):=\frac{d^mg}{d(i\xi)^m}\bigg|_{\xi=0} \; \bigg) \end{equation*}

となるので,m次のキュミュラントはg(i\xi)m階導関数を用いて

(18)   \begin{equation*} \kappa_m=g^{(m)}(0)=\frac{d^m\ln \varphi}{d(i\xi)^m}\bigg|_{\xi=0} \end{equation*}

と書くことができる:

    \begin{eqnarray*} g(i\xi) &=& \ln \varphi ,\quad g'(i\xi)= \left\Big(\ln \varphi\right\Big)'=\frac{\varphi'}{\varphi}, \quad g''(i\xi)= \left\bigg(\frac{\varphi'}{\varphi}\right\bigg)' =\frac{\varphi''\varphi-\varphi'^2}{\varphi^2}, \\ g^{(3)}(i\xi)&=& \left\{(\varphi''\varphi-\varphi'^2)\cdot\varphi^{-2}\right\}' =\left\{\varphi''\varphi\;\varphi^{-2}-\varphi'^2\varphi^{-2}\right\}' \\ &=&(\varphi''\varphi)'\varphi^{-2}-2(\varphi''\varphi)\varphi^{-3}\varphi' -2\varphi'\varphi''\varphi^{-2}+2\varphi'^2\varphi^{-3}\varphi'\\ &=& \varphi^{(3)}\varphi^{-1} + \varphi''\varphi' \varphi^{-2} -2\varphi''\varphi'\varphi^{-2} -2\varphi''\varphi'\varphi^{-2} + 2\varphi'^3\varphi^{-3} \\ &=& \varphi^{(3)}\varphi^{-1} -3 \varphi''\varphi' \varphi^{-2} + 2\varphi'^3\varphi^{-3}, \\ g^{(4)}(i\xi)&=& \left\{\varphi^{(3)}\varphi^{-1} -3 \varphi''\varphi' \varphi^{-2} + 2\varphi'^3\varphi^{-3}\right\}' \\ &=& \varphi^{(4)}\varphi^{-1} - \varphi^{(3)}\varphi^{-2}\varphi' -3 (\varphi''\varphi')' \varphi^{-2} \\ && \quad \quad +6 (\varphi''\varphi') \varphi^{-3}\varphi' +6 \varphi'^2 \varphi'' \varphi^{-3} -6 \varphi'^3 \varphi^{-4} \varphi' \\ &=& \varphi^{(4)}\varphi^{-1} - \varphi^{(3)}\varphi'\varphi^{-2} -3 \varphi^{(3)}\varphi' \varphi^{-2} -3 \varphi''^2 \varphi^{-2} \\ && \quad \quad +6 \varphi''\varphi'^2 \varphi^{-3} + 6 \varphi''\varphi'^2 \varphi^{-3} -6 \varphi'^4 \varphi^{-4} \\ &=& \varphi^{(4)}\varphi^{-1} -4 \varphi^{(3)}\varphi' \varphi^{-2} -3 \varphi''^2 \varphi^{-2} +12 \varphi''\varphi'^2 \varphi^{-3} -6 \varphi'^4 \varphi^{-4} \end{eqnarray*}

これらの式で\xi=0とすれば,\varphi(0)=1\varphi^{(m)}(0)=E(X^m)\;(m=1,2,\cdots)に注意して

    \begin{eqnarray*} \kappa_0 &=& g(0) = \ln \varphi(0) = \ln 1 = 0, \quad \kappa_1 = g'(0) = \frac{E(X)}{1} = E[X]=\mu, \\ \kappa_2 &=& g''(0)= \frac{E[X^2]\cdot1 - E[X^2]^2}{1^2} = E\left\big[(X-\mu)^2\right\big] = \sigma^2, \\ \kappa_3 &=& g^{(3)}(0) = E[X^3]\cdot1^{-1} -3E[X^2]E[X]\cdot 1^{-2} + 2E[X]^3\cdot 1^{-3} \\ &=& E[X^3] -3E[X^2]E[X] + 2E[X]^3 \\ &=& E\left\big[(X-\mu)^3\right\big], \\ \kappa_4 &=& g^{(4)}(0) = E[X^4] -4 E[X^3]E[X] -3 E[X^2]^2 +12 E[X^2]E[X]^2 -6 E[X]^4 \\ &=& \left\{E[X^4] -4 E[X^3]E[X] +6 E[X^2]E[X]^2 -3 E[X]^4 \right\} \\ && \quad \quad - \left\{3 E[X^2]^2 -6 E[X^2]E[X]^2 +3 E[X]^4 \right\}\\ &=& E\left\big[(X-\mu)^4\right\big] - 3E\left\big[(X-\mu)^2\right\big] \end{eqnarray*}

を得る.この中で中心極限定理の証明で特に重要なのは

(19)   \begin{equation*} \kappa_0=0,\;\kappa_1=\mu,\; \kappa_2=\sigma^2  \end{equation*}

である.

 

さて,以上の準備をした上で,中心極限定理を証明する.

 

証明(中心極限定理)

仮定より,確率変数X_k\;(k=1,2,\cdots,n)は独立で同一な分布に従うので,各X_kの特性関数も同一であり,これを

(20)   \begin{equation*} \varphi\left\big({\xi}/{n}\right\big) = E\left\big[e^{i\frac{\xi}{n} X_k}\right\big] \qquad \text{for all }k\in\{1,2,\cdots,n\} \end{equation*}

と書く.これらn個の特性関数の積をとると

(21)   \begin{equation*} E\left\big[e^{i\frac{\xi}{n}X_1}\right\big]\times E\left\big[e^{i\frac{\xi}{n}X_2}\right\big]\times \cdots \times E\left\big(e^{i\frac{\xi}{n} X_n}\right\big) =\left\{\varphi\left\big({\xi}/{n}\right\big)\right\}^n  \end{equation*}

を得る.他方,

(22)   \begin{eqnarray*} E\left\big[e^{i\frac{\xi}{n}X_1}\right\big]\times E\left\big[e^{i\frac{\xi}{n}X_2}\right\big]\times \cdots \times E\left\big(e^{i\frac{\xi}{n} X_n}\right\big) &=&E\left\big[e^{i\frac{\xi}{n}X_1} e^{i\frac{\xi}{n}X_2} \cdots e^{i\frac{\xi}{n}X_n} \right\big] \\ &=&E\left\big[e^{i\frac{\xi}{n}(X_1+X_2+\cdots X_n)} \right\big] \\ &=&E\left\big[e^{i\xi\overline{X}_n} \right\big]  \end{eqnarray*}

となるので,平均\overline{X}_n=\frac{1}{n}\sum^n_{k=1}X_kの特性関数は式(21),(22)より

(23)   \begin{equation*} E\left\big[e^{i\xi\overline{X}_n} \right\big]=\left\{\varphi\left\big({\xi}/{n}\right\big)\right\}^n  \end{equation*}

となる.これが平均\mu,分散\sigma^2/nの正規分布の特性関数となっていることを示せばよい.

gの定義式(16)より一般に特性関数\varphi(\xi)=E(e^{i\xi X})

(24)   \begin{equation*} \varphi(\xi) =\exp\{g(i\xi)\} =\exp \left\{ \sum_{m=0}^{\infty} \kappa_m \frac{(i\xi)^m}{m!} \right\} \end{equation*}

と書けるので,これを式(25)に適用すると

(25)   \begin{eqnarray*} E\left\big[e^{i\xi\overline{X}_n} \right\big] &=&\left\{\varphi\left\big({\xi}/{n}\right\big)\right\}^n \\ &=&\left[\exp \left\{ \sum_{m=0}^{\infty} \kappa_m \frac{(i\xi/n)^m}{m!} \right\} \right]^n \\ &=&\left[\exp \left\{ \sum_{m=0}^{\infty} \frac{1}{n^m}\kappa_m \frac{(i\xi)^m}{m!} \right\} \right]^n  \end{eqnarray*}

(19)で示したように,0次から2次までのキュミュラントは\kappa_0=0,\kappa_1=\mu,\kappa_2=\sigma^2となる.これを式(25)に入れると

    \begin{eqnarray*} E\left\big[e^{i\xi\overline{X}_n} \right\big] &=&\left[\exp \left\{\frac{1}{n}\mu(i\xi)+\frac{1}{n^2}\sigma^2\frac{(i\xi)^2}{2}+ \sum_{m=3}^{\infty} \frac{1}{n^m}\kappa_m \frac{(i\xi)^m}{m!} \right\} \right]^n \\ &=&\exp \left[n \times \left\{\frac{1}{n}\mu(i\xi)+\frac{1}{n^2}\sigma^2\frac{(i\xi)^2}{2}+ \sum_{m=3}^{\infty} \frac{1}{n^m}\kappa_m \frac{(i\xi)^m}{m!} \right\} \right] \\ &=&\exp \left\{\mu(i\xi)+\frac{\sigma^2}{n}\frac{(i\xi)^2}{2}+ \sum_{m=3}^{\infty} \frac{1}{\;n^{m-1}}\kappa_m \frac{(i\xi)^m}{m!} \right\} \label{Eave02} \end{eqnarray}

を得る.n \to \inftyとしたときに,右辺指数の第3項が十分小さくなるとして無視すると

(26)   \begin{equation*} E\left\big[e^{i\xi\overline{X}_n} \right\big] \approx \exp \left\{\mu(i\xi)+\frac{\sigma^2}{n}\frac{(i\xi)^2}{2} \right\} \end{equation*}

を得るが,これは平均\mu,分散\sigma^2/nの正規分布の特性関数に他ならない.よって中心極限定理が示された.□

関連書籍

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です