確率論 k-san.link

正規分布（ガウス分布）とは何か【確率論】

正規分布（ガウス分布）の定義，確率密度関数および累積分布関数とそのグラフ，期待値と分散，積率母関数（モーメント母関数），特性関数，キュムラント母関数，正規乱数の生成アルゴリズム，などについて説明します．また，正規分布と二項分布の関係，中心極限定理および大数の法則との関連性について述べます．

【スマホでの数式表示について】

当サイトをスマートフォンなど画面幅が狭いデバイスで閲覧すると，数式が画面幅に収まりきらず，正確に表示されない場合があります．その際は画面を回転させ横長表示にするか，ブラウザの表示設定を「PCサイト」にした上でご利用ください．

正規分布および標準正規分布の定義

正規分布(normal distribution)は，２つのパラメータ \mu および \sigma^2 によって一意に定まる，連続確率分布(continuous probability distribution)の一種である．

定義：正規分布（ガウス分布）
連続確率変数Xの確率密度関数が

(1)   \begin{equation*} f_{X}(x) = \frac{1}{\sqrt{2\pi}\sigma} \exp{\left\{ -\frac{(x-\mu)^2}{2\sigma^2} \right\}} \end{equation*}

ただし

(2)   \begin{eqnarray*} x &\in & (-\infty, \infty)={\mathbb R} \\ \mu &\in &(-\infty, \infty)={\mathbb R} \\ \sigma^2 &\in & (0, \infty)={\mathbb R}^+ \end{eqnarray*}

で与えられるとき，Xが従う確率分布を，パラメータ(\mu, \sigma^2)の正規分布(normal distribution, またはガウス分布Gaussian distribution)という．

確率変数Xが，パラメータ(\mu, \sigma^2)の正規分布に従うことを

(3)   \begin{equation*} X\sim {\rm Norm}(\mu, \sigma^2) \end{equation*}

などと略記する．

また，特に\mu=0，\sigma^2=1の正規分布

(4)   \begin{equation*} {\rm Norm}(0, 1) \end{equation*}

は，標準正規分布(standard normal distribution)と呼ばれる．

関連ページ：
標準正規分布の求め方，確率変数の標準化の計算方法と意味，正規化との違い【確率・統計】

正規分布の確率密度関数とそのグラフ

定義として(1)に示した通り，正規分布{\rm Norm}(\mu, \sigma^2)の確率密度関数(probability density function; PDF) f_{X} は，次式である．

    \begin{equation*} f_{X}(x) = \frac{1}{\sqrt{2\pi}\sigma} \exp{\left\{ -\frac{(x-\mu)^2}{2\sigma^2} \right\}} \end{equation*}

特に，標準正規分布{\rm Norm}(0, 1)の確率密度関数は，次式のようになる．

(5)   \begin{equation*} f_{X}(x) = \frac{1}{\sqrt{2\pi}} \exp{\left\{ -\frac{x^2}{2} \right\}} \end{equation*}

標準正規分布の確率密度関数(5)グラフの概形を以下に示す．

正規分布の累積分布関数とそのグラフ *

一般に，連続確率変数Xの累積分布関数(cumulative distribution function; CDF) F_{X} は，Xの値がx以下である確率\Pr(X\le x)を与える関数であり，確率密度関数 f_{X} に対して

(6)   \begin{equation*} \Pr(X\le x) = F_{X}(x) = \int_{-\infty}^{x} f_X(t) \; dt \end{equation*}

の関係にある．

式(1)および式(6)より，正規分布{\rm Norm}(\mu, \sigma^2)の累積分布関数(cumulative distribution function; CDF) F_{X} は次式のようになる．

(7)   \begin{equation*} F_{X}(x) = \frac{1}{\sqrt{2\pi}\sigma} \int_{-\infty}^{x} \exp{\left\{ -\frac{(t-\mu)^2}{2\sigma^2} \right\}} \; dt \end{equation*}

しかしながら，この積分を解析的に実行しF_{X}(x)を初等関数によって表すことはできないことが知られている．

同様に，標準正規分布{\rm Norm}(0, 1)の累積分布関数についても，

(8)   \begin{equation*} F_{X}(x) = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{x} \exp{\left\{ -\frac{t^2}{2} \right\}} \; dt \end{equation*}

であり，この積分を解析的に実行することはできない．

式(1)あるいは式(5)の値を，数値的に足し上げることによって，式(7)あるいは式(8)のグラフの概形を描くことは可能である．標準正規分布の累積分布関数(8)グラフの概形を以下に示す．

正規分布の期待値と分散

正規確率変数Xの期待値(expected value)E[X]，分散(variance)V[X]，標準偏差(standard deviation)\sqrt{V[X]}は，それぞれ

(9)   \begin{equation*} E[X] = \mu \end{equation*}

(10)   \begin{equation*} V[X] = \sigma^2 \end{equation*}

(11)   \begin{equation*} \sqrt{V[X]} = \sigma \end{equation*}

となる．

なお，\muおよび\sigma^2自体に，先験的に期待値や分散の意味があるわけではない．これらは第一義的には，正規分布の確率密度関数の関数形を一意に定めるパラメータであり，正規分布の確率密度関数の定義式(1)から，期待値および分散の定義に従ってそれらを求めたとき，期待値および分散の値が\muおよび\sigma^2に一致する，と捉えたほうがよい．

正規分布の期待値および分散を求める計算にはガウス積分を用いる．これらの計算の詳細については，下記の関連ページを参照のこと．

関連ページ：
正規分布の計算：期待値(平均)，分散，標準偏差の求め方【確率論】
ガウス積分の公式を証明/導出する：ヤコビアンと２重積分の極座標変換【微積分】

正規分布の積率母関数（モーメント母関数）

正規分布 {\rm Norm}(\mu, \sigma2) に従う確率変数Xの積率母関数(moment generating function)は，次式で表される関数 M_X である．
 

(12)   \begin{equation*} M_X(\xi) = \exp \left\{ \xi \mu + \frac{\xi^2\sigma^2}{2} \right\} \qquad(\xi \in {\mathbb R}) \end{equation*}

 

式(12)は，正規分布の確率密度関数(1)の逆ラプラス変換によって得られる．導出の詳細については，下記の関連ページを参照のこと．

関連ページ：

正規分布の特性関数

正規分布 {\rm Norm}(\mu, \sigma2) に従う確率変数Xの特性関数(characteristic function)は，次式で表される関数 \Phi_X である．
 

(13)   \begin{equation*} \Phi_X(\xi) = \exp \left\{ i\xi \mu - \frac{\xi^2\sigma^2}{2} \right\} \qquad(\xi \in {\mathbb R}) \end{equation*}

 
ただし，iは虚数単位である．

式(13)は，正規分布の確率密度関数(1)のフーリエ逆変換によって得られる．導出の詳細については，下記の関連ページを参照のこと．

関連ページ：
正規分布の特性関数の導出・計算・求め方【確率論】

正規分布のキュムラント母関数

正規分布 {\rm Norm}(\mu, \sigma2) に従う確率変数Xのキュムラント母関数(cumulant generating function)は，次式で表される関数 K_X である．
 

(14)   \begin{equation*} K_X(\xi) = \xi \mu + \frac{\xi^2\sigma^2}{2} \qquad(\xi \in {\mathbb R}) \end{equation*}

 

式(14)は，正規分布の積率母関数(12)の対数を取ることよって得られる．

関連ページ：
特性関数・積率母関数(モーメント母関数)・キュムラント：定義と意味，期待値(平均)・分散との関係【確率論】

正規分布に従う乱数の生成アルゴリズム

乱数

確率変数(random variable)が確率論で定義される数学的概念であるのに対し，乱数(random number)は，ランダムな物理現象やそのモデル，あるいは確率的現象の計算機によるシミュレーションにかかわる概念である．特に，物理現象に由来する「真の」乱数との区別を強調する場合，計算機でアルゴリズミックに発生させる乱数を，疑似乱数(pseudo-random number)という．

正規乱数とボックス-ミュラー法

r_0，r_1を[0,1)上の一様乱数(uniform random numbers)としたとき，{\rm Norm}(0,1)に従う正規乱数(normal random numbers) z は，

(15)   \begin{equation*} z = \sqrt{-2\ln (1-r_0)}\cdot \sin 2 \pi r_1 \end{equation*}

または

(16)   \begin{equation*} z = \sqrt{-2\ln (1-r_0)}\cdot \cos 2 \pi r_1 \end{equation*}

によって生成することができる．この(15)式または(16)式を，ボックス-ミュラー法(Box-Muller’s method)という．

さらに，

(17)   \begin{equation*} z = \mu + \sigma \sqrt{-2\ln (1-r_0)}\cdot \sin 2 \pi r_1 \end{equation*}

または

(18)   \begin{equation*} z = \mu + \sigma \sqrt{-2\ln (1-r_0)}\cdot \cos 2 \pi r_1 \end{equation*}

とすれば，zは{\rm Norm}(\mu,\sigma^2)に従う正規乱数となる．

正規分布と二項分布

二項分布B(n,p)の確率変数Xについて，試行回数nが十分大きいとき，Xは近似的に正規分布 {\rm Norm}(np, np(1-p)) に従う．

二項分布の正規分布近似は，二項分布の確率質量関数の期待値周りにおけるテイラー展開によってなされる．この近似は，中心極限定理の特殊な場合と解釈することができる．ただし，中心極限定理それ自体は，有限な期待値と分散を持つような一般のiid確率変数に対して成り立つものであり，確率変数が二項分布に従う場合に限らない，より一般性の高い定理である．

二項分布の正規分布近似に関する，より詳しい計算については，下記の関連ページを参照のこと．

関連ページ：
二項分布を正規分布で近似する計算と証明：中心極限定理の特殊な場合【確率論】

正規分布と中心極限定理・大数の法則

正規分布は，様々な現象で観測される．その理由のひとつは，中心極限定理によって，変量の和や平均の分布は正規分布に漸近するから，というものである．中心極限定理は，有限の大きさの期待値と分散を持つような任意の分布に従う，n個のiid確率変数の和や相加平均の分布が，n\to \inftyの下で漸近的に正規分布に従う，というものである．

なお，大数の法則（大数の強法則および大数の弱法則）については，確率変数の概収束および確率収束に関する法則（定理）であり，正規分布とは直接関係しない．

関連ページ：
中心極限定理の証明と意味：正規分布の特性関数と分布収束【確率論】

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です

RECOMMENDこちらの記事も人気です。