確率論 k-san.link

正規分布の再生性を特性関数で証明する【確率論，和の分布】

互いに独立な正規確率変数の和が再び正規分布に従うこと（正規分布の再生性）を，特性関数(characteristic function)を用いて証明します．特性関数の定義から出発し，正規分布の特性関数の導出，独立な確率変数の和の特性関数，特性関数の一意性定理を用いた結論まで，順に説明します．

【スマホでの数式表示について】

当サイトをスマートフォンなど画面幅が狭いデバイスで閲覧すると，数式が画面幅に収まりきらず，正確に表示されない場合があります．その際は画面を回転させ横長表示にするか，ブラウザの表示設定を「PCサイト」にした上でご利用ください．

正規分布の再生性（特性関数による証明）

定理：正規分布の再生性(reproductive property)
互いに独立な確率変数X_1, X_2が，それぞれ正規分布{\rm Norm}(\mu_1,\sigma_1^2)，{\rm Norm}(\mu_2,\sigma_2^2)に従うとする．ただし，\sigma_1,\sigma_2>0とする．このとき，確率変数の和Y:=X_1+X_2もまた正規分布に従い，

(1)   \begin{equation*} Y=X_1+X_2 \sim {\rm Norm}(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2) \end{equation*}

が成立する．□

この定理は，確率密度関数の畳み込み(convolution)を計算しても証明できる．本記事では，畳み込み積分の代わりに特性関数の積を計算することで証明する．

ただし，本記事では特性関数の一意性定理を既知の定理として用いており，その定理自体の証明は扱っていない．特性関数の一致から確率分布の一致を結論するためには，特性関数の一意性定理が必要である．

関連ページ：
正規分布の再生性：畳み込みによる証明
特性関数・モーメント母関数・キュムラントの定義と意味
正規分布の特性関数の導出・計算

準備１：特性関数の定義

定義（特性関数）
確率変数Xの特性関数\Phi_X(\xi)は，Xの関数e^{i\xi X}の期待値

(2)   \begin{equation*} \Phi_X(\xi):=E\left[e^{i\xi X}\right] \qquad (\xi\in {\mathbb R}) \end{equation*}

として定義される．ただし，iは虚数単位である．

Xが確率密度関数f_X(x)を持つ連続確率変数である場合には，

(3)   \begin{equation*} \Phi_X(\xi)=\int_{-\infty}^{\infty} f_X(x)e^{i\xi x}\,dx \end{equation*}

と表される．この積分は，確率密度関数のフーリエ変換（符号の規約によっては逆フーリエ変換）に相当する．

なお，任意の実数\xiに対して|e^{i\xi x}|=1であり，確率密度関数f_X(x)は非負であるから，

(4)   \begin{equation*} 0 \leq \int_{-\infty}^{\infty}|e^{i\xi x}f_X(x)|dx = \int_{-\infty}^{\infty}|e^{i\xi x}|f_X(x)dx = \int_{-\infty}^{\infty}f_X(x)dx=1<\infty \end{equation*}

が成り立つ．したがって，特性関数を定義する積分は任意の実数\xiに対して絶対収束し，特性関数は常に存在する．

関連ページ：
特性関数・モーメント母関数・キュムラントの定義と意味

準備２：独立な確率変数の和の特性関数

独立な確率変数の和と特性関数の積
互いに独立な確率変数X_1,X_2の特性関数\Phiについて，

(5)   \begin{equation*} \Phi_{X_1+X_2}(\xi)=\Phi_{X_1}(\xi)\Phi_{X_2}(\xi) \end{equation*}

が成立する．□

（証明）確率変数X_1,X_2が互いに独立であり，Y:=X_1+X_2とする．特性関数の定義より，

(6)   \begin{eqnarray*} \Phi_Y(\xi) &=& E\left[e^{i\xi Y}\right] \\ &=& E\left[e^{i\xi(X_1+X_2)}\right] \\ &=& E\left[e^{i\xi X_1}e^{i\xi X_2}\right] \\ &=& E\left[e^{i\xi X_1}\right]E\left[e^{i\xi X_2}\right] \\ &=& \Phi_{X_1}(\xi)\Phi_{X_2}(\xi) \end{eqnarray*}

を得る．第４行では，X_1,X_2の独立性を用いた．独立な確率変数のそれぞれの関数e^{i\xi X_1}，e^{i\xi X_2}も独立であるから，積の期待値を期待値の積に分解できる．□

確率密度関数をそのまま用いる場合、確率変数の和の分布を求めるためには、畳み込み積分を計算する必要がある。
他方、特性関数を用いると、確率変数の和は、特性関数の積を計算すればよいことがわかる．

これは正規分布に限らず，一般の独立な確率変数に対して成立する性質である．

準備３：正規分布の特性関数

正規分布の特性関数
正規分布{\rm Norm}(\mu,\sigma^2)の特性関数は

(7)   \begin{equation*} \Phi_X(\xi)=\exp\left\{i\xi\mu-\frac{\xi^2\sigma^2}{2}\right\} \end{equation*}

となる．

関連ページ：
正規分布の特性関数の導出・計算

証明：正規分布の再生性

互いに独立な確率変数X_1,X_2が，それぞれ{\rm Norm}(\mu_1,\sigma_1^2)，{\rm Norm}(\mu_2,\sigma_2^2)に従うとする．式(7)より，それぞれの特性関数は

(8)   \begin{equation*} \Phi_{X_1}(\xi)=\exp\left\{i\xi\mu_1-\frac{\xi^2\sigma_1^2}{2}\right\} \end{equation*}

(9)   \begin{equation*} \Phi_{X_2}(\xi)=\exp\left\{i\xi\mu_2-\frac{\xi^2\sigma_2^2}{2}\right\} \end{equation*}

となる．Y:=X_1+X_2の特性関数は，式(5)を用いて，

(10)   \begin{eqnarray*} \Phi_Y(\xi) &=& \Phi_{X_1}(\xi)\Phi_{X_2}(\xi) \\ &=& \exp\left\{i\xi\mu_1-\frac{\xi^2\sigma_1^2}{2}\right\}\exp\left\{i\xi\mu_2-\frac{\xi^2\sigma_2^2}{2}\right\} \\ &=& \exp\left\{i\xi(\mu_1+\mu_2)-\frac{\xi^2(\sigma_1^2+\sigma_2^2)}{2}\right\} \end{eqnarray*}

となる．右辺は，式(7)において平均を\mu_1+\mu_2，分散を\sigma_1^2+\sigma_2^2とした正規分布の特性関数そのものである．

一般に、２つの確率分布について、それらの特性関数がすべての\xi\in{\mathbb R}で一致するならば，もとの確率分布も一致する（特性関数の一意性定理）．

したがって，Yの分布は{\rm Norm}(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)に一致する．すなわち，

(11)   \begin{equation*} X_1+X_2\sim {\rm Norm}(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2) \end{equation*}

となり，正規分布の再生性が証明された．□

３個以上の正規確率変数の和

互いに独立なn個の確率変数X_1,\ldots,X_nが，それぞれ{\rm Norm}(\mu_j,\sigma_j^2)に従うとする．前節と同様に特性関数の積を取れば，

(12)   \begin{eqnarray*} \Phi_{X_1+\cdots+X_n}(\xi) &=& \prod_{j=1}^{n}\Phi_{X_j}(\xi) \\ &=& \prod_{j=1}^{n}\exp\left\{i\xi\mu_j-\frac{\xi^2\sigma_j^2}{2}\right\} \\ &=& \exp\left\{i\xi\sum_{j=1}^{n}\mu_j-\frac{\xi^2}{2}\sum_{j=1}^{n}\sigma_j^2\right\} \end{eqnarray*}

となる．したがって，一意性定理より，

(13)   \begin{equation*} \sum_{j=1}^{n}X_j\sim {\rm Norm}\left(\sum_{j=1}^{n}\mu_j,\sum_{j=1}^{n}\sigma_j^2\right) \end{equation*}

が成り立つ．

畳み込みによる証明との関係

畳み込みを用いる証明では，確率密度関数

(14)   \begin{equation*} f_Y(y)=\int_{-\infty}^{\infty}f_{X_1}(x)f_{X_2}(y-x)\,dx \end{equation*}

を直接計算して，Yの確率密度関数が正規分布の形になることを示す．この方法は，確率変数の和と確率密度関数との関係を直接確認できる．

これに対して，特性関数による証明では，確率密度関数の畳み込みが特性関数の積に対応することを利用している．

(15)   \begin{equation*} f_{X_1}*f_{X_2}\quad\longleftrightarrow\quad\Phi_{X_1}(\xi)\Phi_{X_2}(\xi) \end{equation*}

特に正規分布では，特性関数の指数部が平均\muと分散\sigma^2によって表されるため，積を取るだけで平均と分散がそれぞれ加算される．

さらに，特性関数の対数H_X(\xi):=\ln\Phi_X(\xi)を原点近傍で考えると，正規分布の場合には

(16)   \begin{equation*} H_X(\xi)=i\xi\mu-\frac{\xi^2\sigma^2}{2} \end{equation*}

となる．この対数を第２特性関数(second characteristic function)と呼ぶ．独立な確率変数の和について特性関数が積となることは，第２特性関数では和となることを意味する．正規分布では，１次キュムラント\kappa_1=\muおよび２次キュムラント\kappa_2=\sigma^2だけが非零であり，３次以上のキュムラントはすべて0である．このことからも，再生性において平均と分散が加算される構造を理解できる．

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です

RECOMMENDこちらの記事も人気です。