特性関数・モーメント母関数(積率母関数)・キュムラント:定義と意味,期待値(平均)・分散との関係【確率論】

特性関数・モーメント母関数(積率母関数)・キュムラント母関数,および モーメント・キュムラントの定義と意味を説明します.また,それらと期待値(平均)・分散との関係について述べます.母関数とは,ある数列や関数列を,そのべき級数展開の係数として持つ関数のことで,モーメント母関数はn次モーメントを展開係数として持ちます.

【スマホでの数式表示について】

当サイトをスマートフォンなど画面幅が狭いデバイスで閲覧すると,数式が画面幅に収まりきらず,正確に表示されない場合があります.その際は画面を回転させ横長表示にするか,ブラウザの表示設定を「PCサイト」にした上でご利用ください.

特性関数・モーメント母関数(積率母関数)・キュムラント母関数と,モーメント・キュムラントについて(概略)

母関数とは何か

ある数列

(1)   \begin{equation*} a_1, a_2,...,a_n,... \end{equation*}

が,ある関数g(\xi)のべき級数展開の係数であるとする.すなわち

(2)   \begin{equation*} g(\xi)=\sum_{n=1}^{\infty} a_n \xi^n \end{equation*}

と書けるとする.このとき,関数g(\xi)を数列\{a_n\}に対する母関数(generating function; 生成関数)という.

母関数は,数列に対してだけでなく,関数列(sequence of functions)に対しても考えることができる.すなわち,数列(1)の代わりに関数列

(3)   \begin{equation*} a_1(z), a_2(z),...,a_n(z),... \end{equation*}

をべき級数の係数として含むような関数

(4)   \begin{equation*} g_z(\xi)=\sum_{n=1}^{\infty} a_n(z) \xi^n \end{equation*}

は,関数列\{a_n(z)\}に対する母関数である.

また,

(5)   \begin{equation*} g(\xi)=\sum_{n=1}^{\infty} \frac{a_n}{n!} \xi^n \end{equation*}

のような形式についても,これは数列\{a_n\}の母関数として扱われ,特に指数的母関数(exponential generating function)ということがある.

モーメント母関数とは何か

モーメント母関数とは,確率変数Xの(m次)モーメントの指数的母関数,すなわち

(6)   \begin{equation*} E[X],E\left[X^2\right],...,E\left[X^m\right],... \end{equation*}

をべき級数展開の係数として持つような関数

(7)   \begin{equation*} M_X(\xi)=\sum_{m=0}^{\infty} \frac{E\left[X^m\right]}{m!}\xi^m \end{equation*}

のことである.翻って,期待値の性質を用いれば,式(7)は,e^{\xi X}の期待値

(8)   \begin{equation*} M_X(\xi)=E\left[e^{\xi X} \right] \end{equation*}

であり,結局,確率論においては,式(8)がモーメント母関数の定義式として与えられる(詳細は後節にて述べる).

モーメント

モーメント(moment; 積率)の定義

定義: モーメント(moment; 積率)
E[X]=\muを確率変数Xの期待値としたとき,E[X^m]を確率変数Xm次モーメント(the mth moment)といい,E \left\big[(X-\mu)^m \right\big]を確率変数Xm次中心モーメント(the mth central moment)という.□

期待値(expected value),分散(variance),歪度(わいど skewness),尖度(せんど kurtosis)は,モーメントおよび中心モーメントを用いて以下のように定義される:

  • 期待値:E[X]    =1次モーメント
  • 分散 :E\left\big[(X-\mu)^2 \right\big]=2次中心モーメント
  • 歪度 :E\left\big[(X-\mu)^3 \right\big]/\sigma^3
  • 尖度 :E\left\big[(X-\mu)^4 \right\big]/\sigma^4またはE\left\big[(X-\mu)^4 \right\big]/\sigma^4-3(2種類の異なる定義がある)

ただし,\mu:=E[X]\sigma:=\sqrt{E\left\big[(X-\mu)^2 \right\big]}とした.

モーメント母関数

モーメント母関数(moment-generating function)の定義

定義: モーメント母関数(moment-generating function)
ある確率変数Xが与えられたとき,e^{\xi X}の期待値

(9)   \begin{equation*} M_X(\xi) := E\left[e^{\xi X}\right]  \end{equation*}

を確率変数Xのモーメント母関数(moment-generating function)という.ただし\xi \in {\mathbb R}である.□

モーメント母関数からモーメントを得る手順

m次モーメントは,モーメント母関数を用いて,以下の手順で得られる.

指数関数をべき級数(i.e. マクローリン級数 Maclaurin series)に展開すると

(10)   \begin{equation*} e^z=1+z+z^2/2!+\cdots \end{equation*}

となる.また,確率変数の和X+Yおよび定数cに対して,期待値は

(11)   \begin{eqnarray*} E[X+Y]&=&E[X]+E[Y]\\ E[c]&=&c \end{eqnarray*}

が成り立つことに注意して,式(9)の右辺を\xiについて展開すると,

(12)   \begin{eqnarray*} M_X(\xi) &=&  E\left[e^{\xi X}\right]\\ &=& E\left[ 1+ (\xi X) + \frac{(\xi X)^2}{2!}+\cdots + \frac{(\xi X)^m}{m!}+\cdots \right] \\ &=& 1+ E[X]\xi + \frac{1}{2!}E\left[ X^2 \right]\xi^2 + \cdots + \frac{1}{m!}E\left[ X^m \right]\xi^m + \cdots  \end{eqnarray*}

のようにm次モーメントE[X^m]が係数に現れる(このため,M_X(\xi)はモーメント母関数(moment generating function; モーメント生成関数)と呼ばれる).

M_X(\xi)\xiに関する微分をとると

(13)   \begin{eqnarray*} M_X'(\xi)&:=&\frac{d}{d\xi}M_X(\xi)\\ &=& \frac{d}{d\xi} \left\{1+ E[X]\xi + \frac{1}{2!}E\left[ X^2 \right]\xi^2 + \cdots \right\} \\ &=& E[X] + E[X^2]\xi + \frac{1}{2!}E\left[ X^3 \right]\xi^2 + \cdots \\ M_X''(\xi) &:=&\frac{d^2}{d\xi^2}M_X(\xi)\\ &=& E[X^2] + E[X^3]\xi + \frac{1}{2!}E\left[ X^4 \right]\xi^2 + \cdots \\ \vdots &&\\ M_X^{(m)}(\xi) &:=&\frac{d^m}{d\xi^m}M_X(\xi)\\ &=& E[X^{m}] + E[X^{m+1}]\xi + \frac{1}{2!}E\left[ X^{m+2} \right]\xi^2 + \cdots  \end{eqnarray*}

となる.これらの式に\xi=0を代入すれば,m次モーメントE[X^{m}]

(14)   \begin{equation*} E[X^{m}] = M^{(m)}(0) \qquad(m=1,2,\cdots) \end{equation*}

のように得られる.

モーメント母関数とラプラス変換の関係

Xを確率密度関数f_X(x)に従う連続確率変数であるとし,S:={\rm supp}(f_X)f_Xの台(support) とする.このときXの期待値E[X]

(15)   \begin{equation*} E[X] := \int_S x f_X(x) dx \end{equation*}

で定義される.またこのとき,Xを引数とする関数(可測関数)h(X)の期待値E[h(X)]については

(16)   \begin{equation*} E\left[h(X)\right] = \int_S h(x) f_X(x) dx \end{equation*}

で与えられる.モーメント母関数の定義(9)および可測関数の期待値(16)より,Xのモーメント母関数は

(17)   \begin{equation*} \M_X(\xi) = E\left[e^{\xi X}\right] = \int_S f_X(x)e^{\xi x} dx \end{equation*}

となることがわかる.

同様に,Xを確率質量関数\psi_X(k)に従う離散確率変数であるとし,S:={\rm supp}(\psi_X)\psi_Xの台(support) とすると,Xのモーメント母関数は

(18)   \begin{equation*} \M_X(\xi) = E\left[e^{\xi X}\right] = \sum_{k\in S} \psi_X(k)e^{\xi k} \end{equation*}

となる.

すなわち,確率変数Xのモーメント母関数とは,Xの確率密度関数の(逆)ラプラス変換((inverse) Laplace transform)に他ならない.

特性関数

特性関数(characteristic function)の定義

確率変数Xの特性関数とは,次のように定義される関数である.

定義: 特性関数(characteristic function)
確率変数Xについて,e^{i\xi X}\;(\;^{\forall}\xi \in {\mathbb R})の期待値を取ると,それは\xiの関数となる:

(19)   \begin{equation*} \Phi_X(\xi) := E\left[e^{i\xi X}\right]  \end{equation*}

この関数\Phi_X(\xi)を,確率変数Xの特性関数(characteristic function)という.ただしiは虚数単位(imaginary unit)である.□

モーメント母関数と特性関数との関係

モーメント母関数の\xi\in {\mathbb R}を虚数i\xiで置き換えることにより,モーメント母関数は特性関数と関係付けられる.すなわち

(20)   \begin{equation*} M_X(i\xi) = E\left[e^{i\xi X}\right] = \Phi_X(\xi) \end{equation*}

である.この関係から,次節で示す通り,m次モーメントは特性関数からも誘導することができる.

特性関数からモーメントを得る手順

m次モーメントを特性関数から誘導する.誘導の基本的な手順は,モーメント母関数の場合と同様である.

式(19)の右辺を\xiについて展開すると,

(21)   \begin{eqnarray*} \Phi_X(\xi) &=&  E\left[e^{i\xi X}\right]\\ &=& E\left[ 1+ (i\xi X) + \frac{(i\xi X)^2}{2!}+\cdots + \frac{(i\xi X)^m}{m!}+\cdots \right] \\ &=& 1+ E[X](i\xi) + \frac{1}{2!}E\left[ X^2 \right](i\xi)^2 + \cdots + \frac{1}{m!}E\left[ X^m \right](i\xi)^m + \cdots \\ &=& 1+ iE[X]\xi + \frac{i^2}{2!}E\left[ X^2 \right]\xi^2 + \cdots + \frac{i^m}{m!}E\left[ X^m \right]\xi^m + \cdots  \end{eqnarray*}

のようにm次モーメントE[X^m]が係数に現れる.

\Phi_X(\xi)\xiに関する微分をとると

(22)   \begin{eqnarray*} \Phi_X'(\xi)&:=&\frac{d}{d\xi}\Phi_X(\xi)\\ &=& \frac{d}{d\xi} \left\{1+ iE[X]\xi + \frac{i^2}{2!}E\left[ X^2 \right]\xi^2 + \cdots \right\} \\ &=& iE[X] + i^2E[X^2]\xi + \frac{i^3}{2!}E\left[ X^3 \right]\xi^2 + \cdots \\ \Phi_X''(\xi) &:=&\frac{d^2}{d\xi^2}\Phi_X(\xi)\\ &=& i^2E[X^2] + i^3E[X^3]\xi + \frac{i^4}{2!}E\left[ X^4 \right]\xi^2 + \cdots \\ \vdots &&\\ \Phi_X^{(m)}(\xi) &:=&\frac{d^m}{d\xi^m}\Phi_X(\xi)\\ &=& i^mE[X^{m}] + i^{m+1}E[X^{m+1}]\xi + \frac{i^{m+2}}{2!}E\left[ X^{m+2} \right]\xi^2 + \cdots  \end{eqnarray*}

となる.これらの式に\xi=0を代入し,両辺にi^{-m}を掛ければ,m次モーメントE[X^{m}]

(23)   \begin{equation*} E[X^{m}] = i^{-m} \Phi^{(m)}(0) \qquad(m=1,2,\cdots) \end{equation*}

のように得られる.

なお,m次モーメントE[X^{m}]を実際に得る際には,特性関数\Phi_X(\xi)の表示(具体的な関数形の与えられ方)によっては,\Phi_X(\xi)i\xiの関数gとみなして

(24)   \begin{equation*} g(i\xi):= \Phi_X(\xi) \end{equation*}

などと置き,i\xiで微分する計算も可能である.実際,

(25)   \begin{eqnarray*} \frac{d}{d(i\xi)}g(i\xi) &=&\frac{d}{d(i\xi)}\Phi_X(\xi)\\ &=&\frac{d \xi}{d(i\xi)}\frac{d}{d\xi}\Phi_X(\xi)\\ &=&\frac{d (-i\zeta)}{d\zeta}\frac{d}{d\xi}\Phi_X(\xi)\\ &=&-i\frac{d}{d\xi}\Phi_X(\xi)\\ &=&\frac{1}{i}\frac{d}{d\xi}\Phi_X(\xi)\\ \end{eqnarray*}

ただし

(26)   \begin{equation*} \zeta:=i\xi, \; \therefore\xi = -i\zeta \end{equation*}

とした.これにより,i\xiでの微分を繰り返せば,

(27)   \begin{equation*} \frac{d^m}{d(i\xi)^m}g(i\xi)=i^{-m} \Phi^{(m)}(0) \qquad(m=1,2,\cdots) \end{equation*}

となるから,次式

(28)   \begin{equation*} E[X^{m}] = \frac{d^m}{d(i\xi)^m}g(i\xi)\bigg|_{\xi=0} \end{equation*}

は,式(23)と同等である.

特性関数とフーリエ変換の関係

Xを確率密度関数f_X(x)に従う連続確率変数であるとし,S:={\rm supp}(f_X)f_Xの台(support) とする.特性関数の定義(19)および可測関数の期待値(16)より,Xの特性関数は

(29)   \begin{equation*} \Phi_X(\xi) = E\left[e^{i\xi X}\right] = \int_S f_X(x)e^{i\xi x} dx \end{equation*}

となることがわかる.

同様に,Xを確率質量関数\psi_X(k)に従う離散確率変数であるとし,S:={\rm supp}(\psi_X)\psi_Xの台(support) とすると,Xの特性関数は

(30)   \begin{equation*} \Phi_X(\xi) = E\left[e^{i\xi X}\right] = \sum_{k\in S} \psi_X(k)e^{i\xi k} \end{equation*}

となる.

すなわち,確率変数Xの特性関数とは,Xの確率密度関数のフーリエ逆変換に他ならない.

関連ページ:
フーリエ変換の公式 導出:フーリエ級数展開の定義から証明・計算する【フーリエ解析】

キュムラント母関数とキュムラント

キュムラント母関数とキュムラントの定義

キュムラント母関数(cumulant generating function)とキュムラント(cumulant)は,モーメント母関数を用いて,次のように定義される.

定義(I):キュムラント母関数(cumulant generating function)とキュムラント(cumulant)
確率変数Xのモーメント母関数M_X(\xi)=E[e^{\xi X}]に対して,その対数のべき級数展開

(31)   \begin{equation*} K_X(\xi):=\ln M_X(\xi) = \sum_{m=0}^{\infty} \kappa_m \frac{\xi^m}{m!} \end{equation*}

を取る.この関数K(\xi)をキュムラント母関数(cumulant generating function)といい,係数\kappa_mm次キュムラント(the mth cumulant)という.□

第2特性関数

第2特性関数の定義

キュムラントは,モーメント母関数に由来するキュムラント母関数の代わりに,特性関数に由来する第2特性関数を用いて,次のように定義することもある.

定義(II): 第2特性関数(second characteristic function)およびキュムラント
確率変数Xの特性関数\Phi_X(\xi)=E[e^{i\xi X}]に対して,その対数のべき級数展開

(32)   \begin{equation*} H_X(\xi):=\ln \Phi_X(\xi) = \sum_{m=0}^{\infty} \kappa_m \frac{(i\xi)^m}{m!} \end{equation*}

を取る.この関数H_X(\xi)を第2特性関数(second characteristic function)といい,係数\kappa_mm次のキュムラントという.□

定義(I)に従って,モーメント母関数の対数をキュムラント母関数と定義することが多いが,式(32)の係数もキュムラントを与える.

式(32)の両辺から対数を落とすと,特性関数\Phi_X(\xi)

(33)   \begin{equation*} \Phi_X(\xi) = \exp \left\{ \sum_{m=0}^{\infty} \kappa_m \frac{(i\xi)^m}{m!} \right\} \end{equation*}

と書ける.

(34)   \begin{equation*} g(i\xi):=H_X(\xi)=\ln \Phi_X(\xi)  \end{equation*}

と定義して,g(i\xi)をべき級数に展開すると

(35)   \begin{equation*} g(i\xi)=\sum_{m=0}^{\infty} \frac{g^{(m)}(0)}{m!}(i\xi)^m \qquad \bigg(\text{ただし}\; g^{(m)}(0):=\frac{d^mg}{d(i\xi)^m}\bigg|_{\xi=0} \; \bigg) \end{equation*}

となるので,m次のキュムラントはg(i\xi)m階導関数を用いて

(36)   \begin{equation*} \kappa_m=g^{(m)}(0)=\frac{d^m\ln \Phi}{d(i\xi)^m}\bigg|_{\xi=0} \end{equation*}

と書くことができる:

    \begin{eqnarray*} g(i\xi) &=& \ln \Phi ,\\ g'(i\xi)&=& \left\Big(\ln \Phi\right\Big)'=\frac{\Phi'}{\Phi}, \\ g''(i\xi)&=& \left\bigg(\frac{\Phi'}{\Phi}\right\bigg)' =\frac{\Phi''\Phi-\Phi'^2}{\Phi^2}, \\ g^{(3)}(i\xi)&=& \left\{(\Phi''\Phi-\Phi'^2)\cdot\Phi^{-2}\right\}' =\left\{\Phi''\Phi\;\Phi^{-2}-\Phi'^2\Phi^{-2}\right\}' \\ &=&(\Phi''\Phi)'\Phi^{-2}-2(\Phi''\Phi)\Phi^{-3}\Phi' -2\Phi'\Phi''\Phi^{-2}+2\Phi'^2\Phi^{-3}\Phi'\\ &=& \Phi^{(3)}\Phi^{-1} + \Phi''\Phi' \Phi^{-2} -2\Phi''\Phi'\Phi^{-2} -2\Phi''\Phi'\Phi^{-2} + 2\Phi'^3\Phi^{-3} \\ &=& \Phi^{(3)}\Phi^{-1} -3 \Phi''\Phi' \Phi^{-2} + 2\Phi'^3\Phi^{-3}, \\ g^{(4)}(i\xi)&=& \left\{\Phi^{(3)}\Phi^{-1} -3 \Phi''\Phi' \Phi^{-2} + 2\Phi'^3\Phi^{-3}\right\}' \\ &=& \Phi^{(4)}\Phi^{-1} - \Phi^{(3)}\Phi^{-2}\Phi' -3 (\Phi''\Phi')' \Phi^{-2} \\ && \quad \quad +6 (\Phi''\Phi') \Phi^{-3}\Phi' +6 \Phi'^2 \Phi'' \Phi^{-3} -6 \Phi'^3 \Phi^{-4} \Phi' \\ &=& \Phi^{(4)}\Phi^{-1} - \Phi^{(3)}\Phi'\Phi^{-2} -3 \Phi^{(3)}\Phi' \Phi^{-2} -3 \Phi''^2 \Phi^{-2} \\ && \quad \quad +6 \Phi''\Phi'^2 \Phi^{-3} + 6 \Phi''\Phi'^2 \Phi^{-3} -6 \Phi'^4 \Phi^{-4} \\ &=& \Phi^{(4)}\Phi^{-1} -4 \Phi^{(3)}\Phi' \Phi^{-2} -3 \Phi''^2 \Phi^{-2} +12 \Phi''\Phi'^2 \Phi^{-3} -6 \Phi'^4 \Phi^{-4} \end{eqnarray*}

これらの式で\xi=0とすれば,\Phi(0)=1\Phi^{(m)}(0)=E(X^m)\;(m=1,2,\cdots)に注意して

    \begin{eqnarray*} \kappa_0 &=& g(0) = \ln \Phi(0) = \ln 1 = 0, \\ && \\ \kappa_1 &=& g'(0) = \frac{E[X]}{1} = E[X]=\mu, \\ && \\ \kappa_2 &=& g''(0)= \frac{E[X^2]\cdot1 - E[X]^2}{1^2} = E\left\big[(X-\mu)^2\right\big] = \sigma^2, \\ && \\ \kappa_3 &=& g^{(3)}(0) = E[X^3]\cdot1^{-1} -3E[X^2]E[X]\cdot 1^{-2} + 2E[X]^3\cdot 1^{-3} \\ &=& E[X^3] -3E[X^2]E[X] + 2E[X]^3 \\ &=& E[X^3] -3E[X^2]\mu + 3 E[X]\mu^3 -\mu ^3 \\ &=& E\left\big[(X-\mu)^3\right\big], \\ && \\ \kappa_4 &=& g^{(4)}(0) \\ &=& E[X^4] -4 E[X^3]E[X] -3 E[X^2]^2 +12 E[X^2]E[X]^2 -6 E[X]^4 \\ &=& \left\{E[X^4] -4 E[X^3]E[X] +6 E[X^2]E[X]^2 -3 E[X]^4 \right\} \\ && \quad \quad - \left\{3 E[X^2]^2 -6 E[X^2]E[X]^2 +3 E[X]^4 \right\}\\ &=& \left\{E[X^4] -4 E[X^3]\mu +6 E[X^2] \mu^2 - 4E[X]\mu + \mu ^4 \right\} \\ && \quad \quad - 3 \left\{E[X^2]^2 -2 E[X^2]\mu^2 + \mu^4 \right\}\\ &=& E\left[X^4 -4 X^3\mu +6 X^2 \mu^2 - 4 X \mu + \mu ^4 \right] \\ && \quad \quad - 3 \left\{E[X^2] - \mu^2 \right\}^2\\ &=& E\left\big[(X-\mu)^4\right\big] \\ && \quad \quad - 3 \left\{E[X^2] - 2E[X]\mu + \mu^2 \right\}^2\\ &=& E\left\big[(X-\mu)^4\right\big] - 3\left\{ E\left\big[(X-\mu)^2\right\big] \right\}^2 \end{eqnarray*}

を得る.

この中で,中心極限定理の証明で特に重要なのは

(37)   \begin{equation*} \kappa_0=0,\;\kappa_1=\mu,\; \kappa_2=\sigma^2  \end{equation*}

である.

関連ページ:
中心極限定理の証明と意味:正規分布の特性関数と分布収束【確率論】

3 件のコメント

  • キュムラントK_4ですが, 最後の項の -3\E[(X – \mu)^2] ではなく, 正しくは -3 \{ \E[(X – \mu)^2] \}^2 です. ご確認ください.

    • ご指摘頂きありがとうございました. 途中式を追加するとともに,該当箇所を訂正致しました.

  • \mu = E(X) とするとき,M_X(\xi)= e^{\mu\xi}M_{X-\mu}(\xi)なので,Xのキュムラント母関数は\mu\xi + \log M_{X-\mu}(\xi) と表すこともできます。M_{X-\mu}^{(m)}(0)はXのm次中心モーメントなので,この表示を用いると,最後の方で導いた k_3, k_4 に関する等式は,もう少し簡単に導けます。

  • コメントを残す

    メールアドレスが公開されることはありません。 が付いている欄は必須項目です