中心極限定理の証明と意味【確率論】

中心極限定理を証明します．中心極限定理は，確率・統計において正規分布が特に重要であることの理論的根拠です．元の分布にかかわらずiid確率変数の相加平均が分布に従うようになる，分布収束（法則収束）の重要な一例でもあります．証明には特性関数とキュムラントを用いるのでその解説もおこないます．

【スマホでの数式表示について】

当サイトをスマートフォンなど画面幅が狭いデバイスで閲覧すると，数式が画面幅に収まりきらず，正確に表示されない場合があります．その際は画面を回転させ横長表示にするか，ブラウザの表示設定を「PCサイト」にした上でご利用ください．

中心極限定理 (central limit theorem)

$X_1,X_2,...,X_n$

を，期待値 $\mu$

，分散 $\sigma^2$

の独立で同一な分布に従う(iid: independent and identically distributed) 確率変数であるとする．これらの確率変数の相加平均

(1) $\begin{equation*} \overline{X}_n:=\frac{1}{n}\sum^n_{k=1}X_k \end{equation*}$

もまたひとつの確率変数であり， $n \to \infty$ としたとき， $\overline{X}_n$ の分布は，期待値 $\mu$ ，分散 $\sigma^2/n$ の正規分布 ${\mathcal N}(\mu, \sigma^2/n)$ に近づく．□

中心極限定理の意味および証明の概要

中心極限定理の意味

中心極限定理は，有限の期待値と分散を持つiid確率変数 $X_k(k=1,2,...,n)$ の $n$ 個の相加平均 $\overline{X}_n$ に関して，

「 $\overline{X}_n$ の分布は， $n\to \infty$ で正規分布に近づく」

ことを主張するものである．

ここで重要な点は，元の確率変数 $X_k$ が従う分布の種類には依存せずに，定理が成り立つということである．このことは，中心極限定理の証明方法にも関わる．

中心極限定理の証明の概要

中心極限定理において，もし，元の確率変数 $X_k$ がなんらかの特定の分布に従うことを前提とするなら，相加平均の分布は，元の確率変数の和の分布を計算することによって得られるだろう（関連ページ：確率変数の和の分布を計算する【確率論，畳み込み】）．

しかし，中心極限定理の前提は，元のiid確率変数 $X_k$ が有限の期待値と分散を持つことだけであり，特定の分布に従うことを前提としていない．したがって，中心極限定理の証明においても，特定の分布関数の情報を使うことなく，正規分布の関数形を導くことになる．

このような事情から，中心極限定理の証明においては，正規分布の確率密度関数を直接導くのではなく，特性関数を用いる．確率変数の相加平均 $\overline{X}_n$ の特性関数が， $n \to \infty$ において正規分布の特性関数に近づくことを示すのである．特性関数は確率密度関数のフーリエ逆変換であるから，特性関数は分布に関する情報をすべて含んでいるため，正規分布の特性関数を導くことができれば，中心極限定理の証明には十分である．

証明の詳しい手順は，後節で与える（証明はこちら）．

中心極限定理と大数の法則との関係

中心極限定理と大数の法則との関係については，別項大数の法則の証明と意味を参照のこと．

特性関数とキュムラント：中心極限定理の証明の準備

中心極限定理の証明に用いる重要な概念として，特性関数とキュムラントがある．本節では，これらの定義を述べるとともに，中心極限定理を証明するための準備をおこなう．

特性関数(characteristic function)

定義：特性関数(characteristic function)

ある確率変数 $X$

が与えられたとき， $e^{i\xi X}$

の期待値

(2) $\begin{equation*} \Phi_X(\xi) := E\left[e^{i\xi X}\right] \end{equation*}$

を確率変数 $X$ の特性関数(characteristic function)という．ただし $\xi \in {\mathbb R}$ ，また $i$ は虚数単位(imaginary unit)である．□

特性関数とモーメント

モーメント母関数と特性関数の関係より，特性関数の $i\xi$ による $m$ 階微分 $(m=0,1,2,\cdots)$

(3) $\begin{equation*} \Phi_X^{(m)}(\xi) = \frac{d^m}{d(i\xi)^m}\Phi_X(\xi) \end{equation*}$

と $m$ 次モーメント $E[X^{m}]$ には

(4) $\begin{equation*} \Phi_X^{(m)}(0)=E[X^{m}] \end{equation*}$

の関係が成り立つ．

特性関数とフーリエ変換

確率変数 $X$ が確率密度関数(pdf : probability density function) $f_X(x)$ に従うとし， $S:={\rm supp}(f_X)$ を $f_X$ の台(support) とすると，定義(2)より， $X$ の特性関数は

(5) $\begin{equation*} \Phi_X(\xi) = E\left[e^{i\xi X}\right] = \int_S f_X(x)e^{i\xi x} dx \end{equation*}$

となる．すなわち，確率変数 $X$ の特性関数とは， $X$ の確率密度関数のフーリエ(逆)変換に他ならない．

第2特性関数とキュムラント(cumulant)

定義：第2特性関数とキュムラント

特性関数 $\Phi$

の対数のべき級数展開

(6) $\begin{equation*} H_X(\xi):=\ln \Phi_X(\xi) = \sum_{m=0}^{\infty} \kappa_m \frac{(i\xi)^m}{m!} \end{equation*}$

において，その係数 $\kappa_m$ を $m$ 次のキュムラント(the $m$ th cumulant)といい，関数 $H(\xi)$ を第2特性関数(second characteristic function)という（注１）．□

（注１）積率母関数の対数をキュムラント母関数と定義することが多いが，式(6)の係数もキュムラントを与える．

中心極限定理の証明において必要になるのは，0次～2次のキュムラントであるが，それぞれ

(7) $\begin{eqnarray*} \kappa_0&=&0 \\ \kappa_1&=&E[X] \\ \kappa_2&=&V[X] \end{eqnarray*}$

となる．以下，これを示す．

(8) $\begin{equation*} g(i\xi):=\ln \Phi_X(\xi) \end{equation*}$

と定義して， $g(i\xi)$ をべき級数に展開すると

(9) $\begin{equation*} g(i\xi)=\sum_{m=0}^{\infty} \frac{g^{(m)}(0)}{m!}(i\xi)^m \qquad \bigg(\text{ただし}\; g^{(m)}(0):=\frac{d^mg}{d(i\xi)^m}\bigg|_{\xi=0} \; \bigg) \end{equation*}$

となるので， $m$ 次のキュミュラントは $g(i\xi)$ の $m$ 階導関数を用いて

(10) $\begin{equation*} \kappa_m=g^{(m)}(0)=\frac{d^m\ln \Phi}{d(i\xi)^m}\bigg|_{\xi=0} \end{equation*}$

と書くことができる．

$g'(i\xi):=\frac{d \; g(i\xi) }{d(i\xi)}$ ， $g''(i\xi):=\frac{d^2\;g(i\xi)}{d(i\xi)^2}$ として

(11) $\begin{eqnarray*} g(i\xi) &=& \ln \Phi \\ g'(i\xi) &=& \left\Big(\ln \Phi\right\Big)'=\frac{\Phi'}{\Phi} \\ g''(i\xi) &=& \left\bigg(\frac{\Phi'}{\Phi}\right\bigg)' =\frac{\Phi''\Phi-\Phi'^2}{\Phi^2} \end{eqnarray*}$

なので，これらについて $\xi=0$ とすれば， $\Phi_X(0)=1$ ， $\Phi_X^{(m)}(0)=E[X^m]\;(m=1,2,\cdots)$ に注意して

(12) $\begin{eqnarray*} \kappa_0 &=& g(0) = \ln \Phi_X(0) = \ln 1 = 0 \\ \kappa_1 &=& g'(0) = \frac{E[X]}{1} = E[X] \\ \kappa_2 &=& g''(0)= \frac{E[X^2]\cdot1 - E[X]^2}{1^2} \\ &=&E[X^2] - E[X]^2 = V[X] \end{eqnarray*}$

を得る．

証明（中心極限定理）*

$n$ 個の確率変数

(13) $\begin{equation*} X_1,X_2,...,X_k,...,X_n \end{equation*}$

が，期待値 $\mu$ ，分散 $\sigma^2$ の独立で同一な分布に従う確率変数であるとする．これらの確率変数の相加平均

(14) $\begin{equation*} \overline{X}_n:=\frac{1}{n}\sum^n_{k=1}X_k \end{equation*}$

の特性関数

(15) $\begin{equation*} \Phi_{\overline{X}_n}\left(\xi \right) := E\left[e^{i\xi \overline{X}_n}\right]\qquad\left( \;^{\forall}\xi \in {\mathbb R} \right) \end{equation*}$

が， $n \to \infty$ の下で正規分布 ${\rm Norm}(\mu, \sigma^2 /n)$ の特性関数

(16) $\begin{equation*} \Phi_{\rm norm}(\xi) = \exp \left\{ i\xi \mu - \frac{\xi^2 (\sigma^2 /n) }{2} \right\} \end{equation*}$

に収束することを示す．

Step 1. 相加平均の特性関数をiid確率変数の特性関数の積に分解する

確率変数 $\overline{X}_n$ の特性関数 $\Phi_{\overline{X}_n}$ は，特性関数の定義(2)より，

(17) $\begin{equation*} \Phi_{\overline{X}_n}\left(\xi \right) = E\left[e^{i\xi \overline{X}_n}\right]\qquad\left( \;^{\forall}\xi \in {\mathbb R} \right) \end{equation*}$

である．また，確率変数 $X_k\;(k=1,2,...,n)$ の特性関数 $\Phi_{X_k}$ も，同様に定義(2)より

(18) $\begin{equation*} \Phi_{X_k}\left(\zeta\right) = E\left[e^{i\zeta X_k}\right] \qquad \text{for all }k\in\{1,2,..,n\}\qquad\left( \;^{\forall}\zeta \in {\mathbb R} \right) \end{equation*}$

である．式(18)については，各 $X_k\;(k=1,2,...,n)$ が独立同一分布に従うため，それらの特性関数についても同一である．すなわち

(19) $\begin{equation*} \Phi_{X_k}\left(\zeta\right) = \Phi_{X_{k'}}\left(\zeta\right) \qquad \text{for all }k,k'\in\{1,2,..,n\}\qquad\left( \;^{\forall}\zeta \in {\mathbb R} \right) \end{equation*}$

が成り立つ．

指数関数の一般的性質

(20) $\begin{eqnarray*} \exp \sum_{k=1}^n X_k &=& \prod_{k=1}^n \exp X_k\\ \bigg(\; e^{ X_1+\cdots +X_n } &=& e^{X_1}\cdots e^{X_n} \; \bigg) \end{eqnarray*}$

および，互いに独立な確率変数 $Y$ ， $Z$ に対する期待値の積の性質

(21) $\begin{equation*} E[YZ]=E[Y]E[Z] \end{equation*}$

を用いると，

(22) $\begin{eqnarray*} \Phi_{\overline{X}_n}\left(\xi \right) &=& E\left[e^{i\xi \overline{X}_n}\right]\\ &=& E\left[e^{i\xi \cdot \frac{1}{n}\sum^n_{k=1}X_k }\right] = E\left[e^{i\frac{\xi}{n}(X_1+X_2+\cdots X_n)} \right]\\ &=& E\left[\prod^n_{k=1} e^{i \frac{\xi}{n}X_k }\right] = E\left[e^{i\frac{\xi}{n}X_1} e^{i\frac{\xi}{n}X_2} \cdots e^{i\frac{\xi}{n}X_n} \right]\\ &=& \prod^n_{k=1}E\left[ e^{i \frac{\xi}{n}X_k }\right] = E\left[e^{i\frac{\xi}{n}X_1}\right]E\left[e^{i\frac{\xi}{n}X_2}\right] \cdots E\left[e^{i\frac{\xi}{n} X_n}\right]\\ &=& \prod^n_{k=1} \Phi_{X_k}\left(\frac{\xi}{n}\right) \quad \left( \text{where } \zeta=\frac{\xi}{n} \right)\\ &=& \left\{ \Phi_{X_k}\left(\frac{\xi}{n}\right) \right\}^n \end{eqnarray*}$

となる．ただし，最後の変形は式(19)に基づく．

結局，相加平均 $\overline{X}_n$ の特性関数(15)は，各iid確率変数 $X_k$ の特性関数(18)の積に分解できることがわかる：

(23) $\begin{equation*} \Phi_{\overline{X}_n}\left(\xi \right) = \left\{ \Phi_{X_k}\left(\frac{\xi}{n}\right) \right\}^n \end{equation*}$

この特性関数が， $n\to \infty$ の下で平均 $\mu$ ，分散 $\sigma^2/n$ の正規分布の特性関数に近づくことを示せばよい．

Step 2. 相加平均の特性関数をiid確率変数のキュムラント母関数で表す

一般に，確率変数 $X$ の第２特性関数（キュムラント母関数） $H_X(\xi)$ は，特性関数 $\Phi_X(\xi)$ の対数

(24) $\begin{equation*} H_X(\xi):=\ln \Phi_X(\xi) \end{equation*}$

として定義される．この第２特性関数のべき級数展開を

(25) $\begin{equation*} H_X(\xi)=\sum_{m=0}^{\infty} \kappa_m \frac{(i\xi)^m}{m!} \end{equation*}$

のように書くことにする．ここに， $\kappa_m$ は，確率変数 $X$ の $m$ 次のキュムラントである．式(??)，式(??)の指数を取ると，

(26) $\begin{equation*} \Phi_X(\xi) =\exp H_X(\xi) =\exp \left\{ \sum_{m=0}^{\infty} \kappa_m \frac{(i\xi)^m}{m!} \right\} \end{equation*}$

となる．

相加平均の特性関数をiid確率変数の特性関数の積に分解する式(23)に，式(26)を適用すると，

(27) $\begin{eqnarray*} \Phi_{\overline{X}_n}\left(\xi \right) &=& \left\{ \Phi_{X_k}\left(\frac{\xi}{n}\right) \right\}^n\\ &=& \left[\exp \left\{ \sum_{m=0}^{\infty} \kappa_m \frac{(i\xi/n)^m}{m!} \right\} \right]^n \\ &=& \left[\exp \left\{ \sum_{m=0}^{\infty} \frac{1}{n^m}\kappa_m \frac{(i\xi)^m}{m!} \right\} \right]^n \end{eqnarray*}$

を得る．

Step 3. キュムラントの代入および極限操作による正規分布の特性関数への近似

確率変数 $X_k$ の0次から2次までのキュムラントは， $X_k$ の定義および式(7)より，

(28) $\begin{eqnarray*} \kappa_0&=&0\\ \kappa_1&=&E[X_k]=\mu \\ \kappa_2&=&V[X_k]=\sigma^2 \end{eqnarray*}$

である．これを式(27)に入れると

(29) $\begin{eqnarray*} && \Phi_{\overline{X}_n}\left(\xi \right) \\ &&= \left[\exp \left\{ \sum_{m=0}^{\infty} \frac{1}{n^m}\kappa_m \frac{(i\xi)^m}{m!} \right\} \right]^n \\ &&= \left[\exp \left\{\kappa_0 + \frac{1}{n}\kappa_1(i\xi)+\frac{1}{n^2}\kappa_2 \frac{(i\xi)^2}{2}+ \sum_{m=3}^{\infty} \frac{1}{n^m}\kappa_m \frac{(i\xi)^m}{m!} \right\} \right]^n \\ &&= \left[\exp \left\{\frac{1}{n}\mu(i\xi)+\frac{1}{n^2}\sigma^2\frac{(i\xi)^2}{2}+ \sum_{m=3}^{\infty} \frac{1}{n^m}\kappa_m \frac{(i\xi)^m}{m!} \right\} \right]^n \\ &&= \exp \left[n \times \left\{\frac{1}{n}\mu(i\xi)+\frac{1}{n^2}\sigma^2\frac{(i\xi)^2}{2}+ \sum_{m=3}^{\infty} \frac{1}{n^m}\kappa_m \frac{(i\xi)^m}{m!} \right\} \right] \\ &&= \exp \left\{\mu(i\xi)+\frac{\sigma^2}{n}\frac{(i\xi)^2}{2}+ \sum_{m=3}^{\infty} \frac{1}{\;n^{m-1}}\kappa_m \frac{(i\xi)^m}{m!} \right\} \end{eqnarray*}$

を得る． $n \to \infty$ としたときに，右辺指数の第3項以降が十分小さくなるとして無視すると，

(30) $\begin{equation*} \Phi_{\overline{X}_n}\left(\xi \right) \approx \exp \left\{\mu(i\xi)+\frac{\sigma^2}{n}\frac{(i\xi)^2}{2} \right\} \end{equation*}$

を得る．これは平均 $\mu$ ，分散 $\sigma^2/n$ の正規分布の特性関数に他ならない．よって中心極限定理が示された．□

記事一覧

カテゴリー

中心極限定理の証明と意味【確率論】

中心極限定理 (central limit theorem)