正規分布(ガウス分布)とは何か【確率論】

 

正規分布および標準正規分布の定義

正規分布(normal distribution)は,2つのパラメータ \mu および \sigma^2 によって一意に定まる,連続確率分布(continuous probability distribution)の一種である.

定義:正規分布(ガウス分布)

連続確率変数Xの確率密度関数が

(1)   \begin{equation*} f_{X}(x) = \frac{1}{\sqrt{2\pi}\sigma} \exp{\left\{ -\frac{(x-\mu)^2}{2\sigma^2} \right\}}  \end{equation*}

ただし

(2)   \begin{eqnarray*} x &\in & (-\infty, \infty)={\mathbb R} \\ \mu &\in &(-\infty, \infty)={\mathbb R} \\ \sigma^2 &\in & (0, \infty)={\mathbb R}^+  \end{eqnarray*}

で与えられるとき,Xが従う確率分布を,パラメータ(\mu, \sigma^2)の正規分布(normal distribution, またはガウス分布Gaussian distribution)という.

確率変数Xが,パラメータ(\mu, \sigma^2)の正規分布に従うことを

(3)   \begin{equation*} X\sim {\rm Norm}(\mu, \sigma^2) \end{equation*}

などと略記する.

また,特に\mu=0\sigma^2=1の正規分布

(4)   \begin{equation*} {\rm Norm}(0, 1) \end{equation*}

は,標準正規分布(standard normal distribution)と呼ばれる.

関連ページ:
標準正規分布の求め方,確率変数の標準化の計算方法と意味,正規化との違い【確率・統計】

正規分布の確率密度関数とそのグラフ

定義として(1)に示した通り,正規分布{\rm Norm}(\mu, \sigma^2)の確率密度関数(probability density function; PDF) f_{X} は,次式である.

    \begin{equation*} f_{X}(x) = \frac{1}{\sqrt{2\pi}\sigma} \exp{\left\{ -\frac{(x-\mu)^2}{2\sigma^2} \right\}} \end{equation*}

特に,標準正規分布{\rm Norm}(0, 1)の確率密度関数は,次式のようになる.

(5)   \begin{equation*} f_{X}(x) = \frac{1}{\sqrt{2\pi}} \exp{\left\{ -\frac{x^2}{2} \right\}} \end{equation*}

標準正規分布の確率密度関数(5)グラフの概形を以下に示す.

正規分布の累積分布関数とそのグラフ *

一般に,連続確率変数Xの累積分布関数(cumulative distribution function; CDF) F_{X} は,Xの値がx以下である確率\Pr(X\le x)を与える関数であり,確率密度関数 f_{X} に対して

(6)   \begin{equation*} \Pr(X\le x) = F_{X}(x) = \int_{-\infty}^{x} f_X(t) \; dt \end{equation*}

の関係にある.

式(1)および式(6)より,正規分布{\rm Norm}(\mu, \sigma^2)の累積分布関数(cumulative distribution function; CDF) F_{X} は次式のようになる.

(7)   \begin{equation*} F_{X}(x) = \frac{1}{\sqrt{2\pi}\sigma} \int_{-\infty}^{x} \exp{\left\{ -\frac{(t-\mu)^2}{2\sigma^2} \right\}} \; dt \end{equation*}

しかしながら,この積分を解析的に実行しF_{X}(x)を初等関数によって表すことはできないことが知られている.

同様に,標準正規分布{\rm Norm}(0, 1)の累積分布関数についても,

(8)   \begin{equation*} F_{X}(x) = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{x}  \exp{\left\{ -\frac{t^2}{2} \right\}}  \; dt \end{equation*}

であり,この積分を解析的に実行することはできない.

式(1)あるいは式(5)の値を,数値的に足し上げることによって,式(7)あるいは式(8)のグラフの概形を描くことは可能である.標準正規分布の累積分布関数(8)グラフの概形を以下に示す.

正規分布の期待値と分散

正規確率変数Xの期待値(expected value)E[X],分散(variance)V[X],標準偏差(standard deviation)\sqrt{V[X]}は,それぞれ

(9)   \begin{equation*} E[X] = \mu \end{equation*}

(10)   \begin{equation*} V[X] = \sigma^2 \end{equation*}

(11)   \begin{equation*} \sqrt{V[X]} = \sigma \end{equation*}

となる.

なお,\muおよび\sigma^2自体に,先験的に期待値や分散の意味があるわけではない.これらは第一義的には,正規分布の確率密度関数の関数形を一意に定めるパラメータであり,正規分布の確率密度関数の定義式(1)から,期待値および分散の定義に従ってそれらを求めたとき,期待値および分散の値が\muおよび\sigma^2に一致する,と捉えたほうがよい.

期待値および分散を求めるための計算の詳細については,下記の関連ページを参照のこと.

関連ページ:
正規分布の計算:期待値(平均),分散,標準偏差の求め方【確率論】

正規分布の積率母関数(モーメント母関数)

正規分布 {\rm Norm}(\mu, \sigma2) に従う確率変数Xの積率母関数(moment generating function)は,次式で表される関数 M_X である.
 

(12)   \begin{equation*} M_X(\xi) = \exp \left\{ \xi \mu + \frac{\xi^2\sigma^2}{2} \right\} \qquad(\xi \in {\mathbb R}) \end{equation*}

 

式(12)は,正規分布の確率密度関数(1)の逆ラプラス変換によって得られる.導出の詳細については,下記の関連ページを参照のこと.

関連ページ:

正規分布の特性関数

正規分布 {\rm Norm}(\mu, \sigma2) に従う確率変数Xの特性関数(characteristic function)は,次式で表される関数 \Phi_X である.
 

(13)   \begin{equation*} \Phi_X(\xi) = \exp \left\{ i\xi \mu - \frac{\xi^2\sigma^2}{2} \right\} \qquad(\xi \in {\mathbb R}) \end{equation*}

 
ただし,iは虚数単位である.

式(13)は,正規分布の確率密度関数(1)のフーリエ逆変換によって得られる.導出の詳細については,下記の関連ページを参照のこと.

関連ページ:
正規分布の特性関数の導出・計算・求め方【確率論】

正規分布のキュムラント母関数

正規分布 {\rm Norm}(\mu, \sigma2) に従う確率変数Xのキュムラント母関数(cumulant generating function)は,次式で表される関数 K_X である.
 

(14)   \begin{equation*} K_X(\xi) = \xi \mu + \frac{\xi^2\sigma^2}{2} \qquad(\xi \in {\mathbb R}) \end{equation*}

 

式(14)は,正規分布の積率母関数(12)の対数を取ることよって得られる.

関連ページ:
特性関数・積率母関数(モーメント母関数)・キュムラント:定義と意味,期待値(平均)・分散との関係【確率論】

正規分布に従う乱数の生成アルゴリズム

乱数

確率変数(random variable)が確率論で定義される数学的概念であるのに対し,乱数(random number)は,ランダムな物理現象やそのモデル,あるいは確率的現象の計算機によるシミュレーションにかかわる概念である.特に,物理現象に由来する「真の」乱数との区別を強調する場合,計算機でアルゴリズミックに発生させる乱数を,疑似乱数(pseudo-random number)という.

正規乱数とボックス-ミュラー法

r_0r_1[0,1)上の一様乱数(uniform random numbers)としたとき,{\rm Norm}(0,1)に従う正規乱数(normal random numbers) z は,

(15)   \begin{equation*} z = \sqrt{-2\ln (1-r_0)}\cdot \sin 2 \pi r_1  \end{equation*}

または

(16)   \begin{equation*} z = \sqrt{-2\ln (1-r_0)}\cdot \cos 2 \pi r_1 \end{equation*}

によって生成することができる.この(15)式または(16)式を,ボックス-ミュラー法(Box-Muller’s method)という.

さらに,

(17)   \begin{equation*} z = \mu + \sigma \sqrt{-2\ln (1-r_0)}\cdot \sin 2 \pi r_1  \end{equation*}

または

(18)   \begin{equation*} z = \mu + \sigma \sqrt{-2\ln (1-r_0)}\cdot \cos 2 \pi r_1  \end{equation*}

とすれば,z{\rm Norm}(\mu,\sigma^2)に従う正規乱数となる.

正規分布と二項分布

二項分布B(n,p)の確率変数Xについて,試行回数nが十分大きいとき,Xは近似的に正規分布 {\rm Norm}(np, np(1-p)) に従う.

二項分布の正規分布近似は,二項分布の確率質量関数の期待値周りにおけるテイラー展開によってなされる.この近似は,中心極限定理の特殊な場合と解釈することができる.ただし,中心極限定理それ自体は,有限な期待値と分散を持つような一般のiid確率変数に対して成り立つものであり,確率変数が二項分布に従う場合に限らない,より一般性の高い定理である.

二項分布の正規分布近似に関する,より詳しい計算については,下記の関連ページを参照のこと.

関連ページ:
二項分布を正規分布で近似する計算と証明:中心極限定理の特殊な場合【確率論】

正規分布と中心極限定理・大数の法則

正規分布は,様々な現象で観測される.その理由のひとつは,中心極限定理によって,変量の和や平均の分布は正規分布に漸近するから,というものである.中心極限定理は,有限の大きさの期待値と分散を持つような任意の分布に従う,n個のiid確率変数の和や相加平均の分布が,n\to \inftyの下で漸近的に正規分布に従う,というものである.

なお,大数の法則(大数の強法則および大数の弱法則)については,確率変数の概収束および確率収束に関する法則(定理)であり,正規分布とは直接関係しない.

関連ページ:
中心極限定理の証明と意味:正規分布の特性関数と分布収束【確率論】

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です