中心極限定理の証明と意味:正規分布の特性関数と分布収束【確率論】

 

中心極限定理を証明します.中心極限定理は,確率・統計において正規分布が特に重要であることの理論的根拠です.元の分布にかかわらずiid確率変数の相加平均が分布に従うようになる,分布収束(法則収束)の重要な一例でもあります.証明には特性関数とキュムラントを用いるのでその解説もおこないます.

【数式表示に関する注意】当サイトをスマートフォンなど画面幅が狭いデバイスで閲覧すると,数式が画面幅に収まりきらず,正確に表示されない場合があります.その際は画面を回転させ横長表示にするか,ブラウザの表示設定を「PCサイト」にした上でご利用ください.

中心極限定理 (central limit theorem)

中心極限定理 (central limit theorem)

X_1,X_2,...,X_nを,期待値\mu,分散\sigma^2の独立で同一な分布に従う(iid: independent and identically distributed) 確率変数であるとする.これらの確率変数の相加平均

(1)   \begin{equation*} \overline{X}_n:=\frac{1}{n}\sum^n_{k=1}X_k  \end{equation*}

もまたひとつの確率変数であり,n \to \inftyとしたとき,\overline{X}_nの分布は,期待値\mu,分散\sigma^2/nの正規分布{\mathcal N}(\mu, \sigma^2/n)に近づく.□

関連ページ
中心極限定理の例:二項分布の正規分布近似の計算と証明【確率論】
正規分布の計算:期待値(平均),分散,標準偏差の求め方【確率論】

中心極限定理の意味と証明のアウトライン

中心極限定理は,有限の期待値と分散を持つiid確率変数X_k(k=1,2,...,n)n個の相加平均\overline{X}_nに関して,

\overline{X}_nの分布は,n\to \inftyで正規分布に近づく」

ことを主張するものである.

ここで重要な点は,元の確率変数X_kが従う分布の種類には依存せずに,定理が成り立つということである.このことは,中心極限定理の証明方法にも関わる.

もし,元の確率変数X_kが,なんらかの特定の分布に従うことを前提とするなら,相加平均の分布は,元の確率変数の和の分布を計算することによって得られるだろう(関連ページ:確率変数の和の分布を計算する【確率論,畳み込み】).

しかし,中心極限定理の前提は,元のiid確率変数X_kが有限の期待値と分散を持つことだけであり,特定の分布に従うことを前提としていない.したがって,中心極限定理の証明においても,特定の分布関数の情報を使うことなく,正規分布の関数形を導くことになる.

このような事情から,中心極限定理の証明においては,正規分布の確率密度関数を直接導くのではなく,特性関数を用いる.確率変数の相加平均 \overline{X}_n の特性関数が,n \to \inftyにおいて正規分布の特性関数に近づくことを示すのである.特性関数は確率密度関数のフーリエ逆変換であるから,特性関数は分布に関する情報をすべて含んでいるため,正規分布の特性関数を導くことができれば,中心極限定理の証明には十分である.

証明の詳しい手順は,後節で与える( 証明 は こちら ).

特性関数とキュムラント:中心極限定理の証明の準備

中心極限定理の証明に用いる重要な概念として,特性関数とキュムラントがある.本節では,これらの定義を述べるとともに,中心極限定理を証明するための準備をおこなう.

特性関数(characteristic function)

定義: 特性関数(characteristic function)

ある確率変数Xが与えられたとき,e^{i\xi X}の期待値

(2)   \begin{equation*} \Phi_X(\xi) := E\left[e^{i\xi X}\right]  \end{equation*}

を確率変数Xの特性関数(characteristic function)という.ただし\xi \in {\mathbb R},またiは虚数単位(imaginary unit)である.□

特性関数とモーメント

モーメント母関数と特性関数の関係より,特性関数のi\xiによるm階微分(m=0,1,2,\cdots)

(3)   \begin{equation*} \Phi_X^{(m)}(\xi) = \frac{d^m}{d(i\xi)^m}\Phi_X(\xi) \end{equation*}

m次モーメントE[X^{m}]には

(4)   \begin{equation*} \Phi_X^{(m)}(0)=E[X^{m}] \end{equation*}

の関係が成り立つ.

特性関数とフーリエ変換

確率変数Xが確率密度関数(pdf : probability density function) f_X(x)に従うとし,S:={\rm supp}(f_X)f_Xの台(support) とすると,定義(2)より,Xの特性関数は

(5)   \begin{equation*} \Phi_X(\xi) = E\left[e^{i\xi X}\right] = \int_S f_X(x)e^{i\xi x} dx \end{equation*}

となる.すなわち,確率変数Xの特性関数とは,Xの確率密度関数のフーリエ(逆)変換に他ならない.

関連ページ:
特性関数・積率(モーメント)母関数・キュムラント:定義と意味および期待値(平均)・分散との関係について【確率論】
フーリエ変換の公式 導出:フーリエ級数展開の定義から証明・計算する【フーリエ解析】

第2特性関数とキュムラント(cumulant)

定義: 第2特性関数とキュムラント

特性関数\Phiの対数のべき級数展開

(6)   \begin{equation*} H_X(\xi):=\ln \Phi_X(\xi) = \sum_{m=0}^{\infty} \kappa_m \frac{(i\xi)^m}{m!}  \end{equation*}

において,その係数\kappa_mm次のキュムラント(the mth cumulant)といい,関数H(\xi)を第2特性関数(second characteristic function)という(注1).□


(注1)積率母関数の対数をキュムラント母関数と定義することが多いが,式(6)の係数もキュムラントを与える.

中心極限定理の証明において必要になるのは,0次~2次のキュムラントであるが,それぞれ

(7)   \begin{eqnarray*} \kappa_0&=&0 \\ \kappa_1&=&E[X] \\ \kappa_2&=&V[X] \end{eqnarray*}

となる.以下,これを示す.

(8)   \begin{equation*} g(i\xi):=\ln \Phi_X(\xi)  \end{equation*}

と定義して,g(i\xi)をべき級数に展開すると

(9)   \begin{equation*} g(i\xi)=\sum_{m=0}^{\infty} \frac{g^{(m)}(0)}{m!}(i\xi)^m \qquad \bigg(\text{ただし}\; g^{(m)}(0):=\frac{d^mg}{d(i\xi)^m}\bigg|_{\xi=0} \; \bigg) \end{equation*}

となるので,m次のキュミュラントはg(i\xi)m階導関数を用いて

(10)   \begin{equation*} \kappa_m=g^{(m)}(0)=\frac{d^m\ln \Phi}{d(i\xi)^m}\bigg|_{\xi=0} \end{equation*}

と書くことができる.

g'(i\xi):=\frac{d \; g(i\xi) }{d(i\xi)}g''(i\xi):=\frac{d^2\;g(i\xi)}{d(i\xi)^2}として

(11)   \begin{eqnarray*} g(i\xi) &=& \ln \Phi \\ g'(i\xi) &=& \left\Big(\ln \Phi\right\Big)'=\frac{\Phi'}{\Phi} \\ g''(i\xi) &=& \left\bigg(\frac{\Phi'}{\Phi}\right\bigg)' =\frac{\Phi''\Phi-\Phi'^2}{\Phi^2}  \end{eqnarray*}

なので,これらについて\xi=0とすれば,\Phi_X(0)=1\Phi_X^{(m)}(0)=E[X^m]\;(m=1,2,\cdots)に注意して

(12)   \begin{eqnarray*} \kappa_0 &=& g(0) = \ln \Phi_X(0) = \ln 1 = 0 \\ \kappa_1 &=& g'(0) = \frac{E[X]}{1} = E[X] \\ \kappa_2 &=& g''(0)= \frac{E[X^2]\cdot1 - E[X]^2}{1^2} \\ &=&E[X^2] - E[X]^2 = V[X] \end{eqnarray*}

を得る.

証明(中心極限定理)*

n個の確率変数

(13)   \begin{equation*} X_1,X_2,...,X_k,...,X_n \end{equation*}

が,期待値\mu,分散\sigma^2の独立で同一な分布に従う確率変数であるとする.これらの確率変数の相加平均

(14)   \begin{equation*} \overline{X}_n:=\frac{1}{n}\sum^n_{k=1}X_k  \end{equation*}

の特性関数

(15)   \begin{equation*} \Phi_{\overline{X}_n}\left(\xi \right) := E\left[e^{i\xi \overline{X}_n}\right]\qquad\left( \;^{\forall}\xi \in {\mathbb R} \right) \end{equation*}

が,n \to \inftyの下で正規分布{\rm Norm}(\mu, \sigma^2 /n)の特性関数

(16)   \begin{equation*} \Phi_{\rm norm}(\xi) = \exp \left\{ i\xi \mu - \frac{\xi^2 (\sigma^2 /n) }{2} \right\} \end{equation*}

に収束することを示す.

Step 1. 相加平均の特性関数をiid確率変数の特性関数の積に分解する

確率変数\overline{X}_nの特性関数\Phi_{\overline{X}_n}は,特性関数の定義(2)より,

(17)   \begin{equation*} \Phi_{\overline{X}_n}\left(\xi \right) = E\left[e^{i\xi \overline{X}_n}\right]\qquad\left( \;^{\forall}\xi \in {\mathbb R} \right) \end{equation*}

である.また,確率変数X_k\;(k=1,2,...,n)の特性関数\Phi_{X_k}も,同様に定義(2)より

(18)   \begin{equation*} \Phi_{X_k}\left(\zeta\right) = E\left[e^{i\zeta X_k}\right] \qquad \text{for all }k\in\{1,2,..,n\}\qquad\left( \;^{\forall}\zeta \in {\mathbb R} \right) \end{equation*}

である.式(18)については,各X_k\;(k=1,2,...,n)が独立同一分布に従うため,それらの特性関数についても同一である.すなわち

(19)   \begin{equation*} \Phi_{X_k}\left(\zeta\right) = \Phi_{X_{k'}}\left(\zeta\right) \qquad \text{for all }k,k'\in\{1,2,..,n\}\qquad\left( \;^{\forall}\zeta \in {\mathbb R} \right) \end{equation*}

が成り立つ.

指数関数の一般的性質

(20)   \begin{eqnarray*} \exp \sum_{k=1}^n X_k &=& \prod_{k=1}^n \exp X_k\\ \bigg(\; e^{ X_1+\cdots +X_n }  &=& e^{X_1}\cdots e^{X_n} \; \bigg) \end{eqnarray*}

および,互いに独立な確率変数YZに対する期待値の積の性質

(21)   \begin{equation*} E[YZ]=E[Y]E[Z] \end{equation*}

を用いると,

(22)   \begin{eqnarray*} \Phi_{\overline{X}_n}\left(\xi \right)  &=& E\left[e^{i\xi \overline{X}_n}\right]\\ &=& E\left[e^{i\xi \cdot \frac{1}{n}\sum^n_{k=1}X_k }\right] = E\left[e^{i\frac{\xi}{n}(X_1+X_2+\cdots X_n)} \right]\\ &=& E\left[\prod^n_{k=1} e^{i \frac{\xi}{n}X_k }\right] = E\left[e^{i\frac{\xi}{n}X_1} e^{i\frac{\xi}{n}X_2} \cdots e^{i\frac{\xi}{n}X_n} \right]\\ &=& \prod^n_{k=1}E\left[ e^{i \frac{\xi}{n}X_k }\right] = E\left[e^{i\frac{\xi}{n}X_1}\right]E\left[e^{i\frac{\xi}{n}X_2}\right] \cdots  E\left[e^{i\frac{\xi}{n} X_n}\right]\\ &=& \prod^n_{k=1} \Phi_{X_k}\left(\frac{\xi}{n}\right) \quad \left( \text{where } \zeta=\frac{\xi}{n} \right)\\ &=& \left\{ \Phi_{X_k}\left(\frac{\xi}{n}\right) \right\}^n \end{eqnarray*}

となる.ただし,最後の変形は式(19)に基づく.

結局,相加平均\overline{X}_nの特性関数(15)は,各iid確率変数X_kの特性関数(18)の積に分解できることがわかる:

(23)   \begin{equation*} \Phi_{\overline{X}_n}\left(\xi \right)  = \left\{ \Phi_{X_k}\left(\frac{\xi}{n}\right) \right\}^n \end{equation*}

この特性関数が,n\to \inftyの下で平均\mu,分散\sigma^2/nの正規分布の特性関数に近づくことを示せばよい.

Step 2. 相加平均の特性関数をiid確率変数のキュムラント母関数で表す

一般に,確率変数Xの第2特性関数(キュムラント母関数)H_X(\xi)は,特性関数\Phi_X(\xi)の対数

(24)   \begin{equation*} H_X(\xi):=\ln \Phi_X(\xi) \end{equation*}

として定義される.この第2特性関数のべき級数展開を

(25)   \begin{equation*} H_X(\xi)=\sum_{m=0}^{\infty} \kappa_m \frac{(i\xi)^m}{m!}  \end{equation*}

のように書くことにする.ここに,\kappa_mは,確率変数Xm次のキュムラントである.式(??),式(??)の指数を取ると,

(26)   \begin{equation*} \Phi_X(\xi) =\exp H_X(\xi) =\exp \left\{ \sum_{m=0}^{\infty} \kappa_m \frac{(i\xi)^m}{m!} \right\} \end{equation*}

となる.

相加平均の特性関数をiid確率変数の特性関数の積に分解する式(23)に,式(26)を適用すると,

(27)   \begin{eqnarray*} \Phi_{\overline{X}_n}\left(\xi \right)  &=& \left\{ \Phi_{X_k}\left(\frac{\xi}{n}\right) \right\}^n\\ &=& \left[\exp \left\{ \sum_{m=0}^{\infty} \kappa_m \frac{(i\xi/n)^m}{m!} \right\} \right]^n \\ &=& \left[\exp \left\{ \sum_{m=0}^{\infty} \frac{1}{n^m}\kappa_m \frac{(i\xi)^m}{m!} \right\} \right]^n  \end{eqnarray*}

を得る.

Step 3. キュムラントの代入および極限操作による正規分布の特性関数への近似

確率変数X_kの0次から2次までのキュムラントは,X_kの定義および式(7)より,

(28)   \begin{eqnarray*} \kappa_0&=&0\\ \kappa_1&=&E[X_k]=\mu \\ \kappa_2&=&V[X_k]=\sigma^2$ \\ \end{eqnarray*}

である.これを式(27)に入れると

(29)   \begin{eqnarray*} && \Phi_{\overline{X}_n}\left(\xi \right) \\ &&= \left[\exp \left\{ \sum_{m=0}^{\infty} \frac{1}{n^m}\kappa_m \frac{(i\xi)^m}{m!} \right\} \right]^n \\ &&= \left[\exp \left\{\kappa_0 + \frac{1}{n}\kappa_1(i\xi)+\frac{1}{n^2}\kappa_2 \frac{(i\xi)^2}{2}+ \sum_{m=3}^{\infty} \frac{1}{n^m}\kappa_m \frac{(i\xi)^m}{m!} \right\} \right]^n \\ &&= \left[\exp \left\{\frac{1}{n}\mu(i\xi)+\frac{1}{n^2}\sigma^2\frac{(i\xi)^2}{2}+ \sum_{m=3}^{\infty} \frac{1}{n^m}\kappa_m \frac{(i\xi)^m}{m!} \right\} \right]^n \\ &&= \exp \left[n \times \left\{\frac{1}{n}\mu(i\xi)+\frac{1}{n^2}\sigma^2\frac{(i\xi)^2}{2}+ \sum_{m=3}^{\infty} \frac{1}{n^m}\kappa_m \frac{(i\xi)^m}{m!} \right\} \right] \\ &&= \exp \left\{\mu(i\xi)+\frac{\sigma^2}{n}\frac{(i\xi)^2}{2}+ \sum_{m=3}^{\infty} \frac{1}{\;n^{m-1}}\kappa_m \frac{(i\xi)^m}{m!} \right\} \end{eqnarray*}

を得る.n \to \inftyとしたときに,右辺指数の第3項以降が十分小さくなるとして無視すると,

(30)   \begin{equation*} \Phi_{\overline{X}_n}\left(\xi \right)  \approx \exp \left\{\mu(i\xi)+\frac{\sigma^2}{n}\frac{(i\xi)^2}{2} \right\} \end{equation*}

を得る.これは平均\mu,分散\sigma^2/nの正規分布の特性関数に他ならない.よって中心極限定理が示された.□

2 件のコメント

  • 大変勉強になります。このような記事が無料で読めるのは大変ありがたいです。
    二か所、容易に推測できるのであえて修正する必要もないかもしれませんが誤記のご指摘をさせていただきます。
    ・式(24)から式(25)への変換で、式(25)に適用→式(23)へ適用
    ・k2の計算でg”=E[X^2]-E[X^2]^2→E[X^2]-E[X]^2

  • コメントを残す

    メールアドレスが公開されることはありません。 * が付いている欄は必須項目です