HOME PAGE

Spike Density Estimation

- Histogram Method

- Kernel Method

Share it with your friend

Tweet

定常ポアソン過程

指数分布

確率変数$X$が確率密度関数 (probability density function) $f\left( x\right) =\lambda e^{-\lambda x}$（ただし$x$は非負の実数）に従うときに, $X$は指数分布に従うという. 指数分布は記憶のない分布と言われる (無記憶性: loss of memory property, memoryless property). ここで記憶がないとは$s,t\geq0$に対して

$$P\left( X>s+t\vert X>t\right) =P\left( X>s\right)%$$ (1.1)

が成り立つことを言う. 例として, 数年前に買った冷蔵庫を考えてみよう. 購入当初は順調に稼動していた冷蔵庫もやがて古くなり, いつかは壊れてしまう. ここで冷蔵庫が壊れるまでの耐久年数の分布が記憶のなしの特徴を持つとしよう. 購入した冷蔵庫は$t$年経った現在も順調に動いている. さて, この冷蔵庫はあと何年もつだろうか. 今後$s$年もつ確率は条件付き確率 $P\left( X>s+t\vert X>t\right)$で表すことができる. ところが記憶なしの特徴1.1を使えば, この条件付き確率は $P\left( X>s\right)$で与えられる. つまり, 記憶なしとは, $t$年間冷蔵庫が稼動していたことが, これから先に起こる故障の予測にとってなんの情報にもならないことを意味する.

それではどのような分布が記憶なしの特徴を持つのか. 条件付分布は次のように表すことができる.

$$P\left( X>s+t\vert X>t\right) =\frac{P\left( X>s+t,X>t\right) }{P\left( X>t\right) }$$

$$=\frac{P\left( X>s+t\right) }{P\left( X>t\right) }%$$

これを1.1に代入して

$$P\left( X>s+t\right) =P\left( X>s\right) P\left( X>t\right)$$

なる関係式を得る. 指数分布関数

$$P\left( X>x\right) =e^{-\lambda x}%$$

がこの性質を満たすことはすぐにわかる. したがって指数密度分布

$$f\left( x\right) =\lambda e^{-\lambda x}%$$ (1.2)

は記憶なしの特徴を持つ分布であることがわかった.

イベント間隔が指数分布に従う過程を定常ポアソン過程という. ポアソン過程とは記憶のない事象の生成過程であり, 地震学・疫学・金融工学・保険数学など, イベント（地震・出生死亡・債務不履行・事故等）を解析する幅広い分野で基本となる確率過程である. 神経科学における, 神経細胞の発火（スパイク）を表現する上でも基本的な役割を果たす. 以下では, イベントのことをスパイクと表現する.    

一定時間内のスパイクの個数（ポアソン分布）

スパイク間隔の分布が指数分布1.2に従う場合に, $T$秒間の間に生じるスパイクの個数$N_{T}$の分布を求めよう. まず, ひとつもスパイクが生じない確率を求める. これは一つ目のスパイク間隔が$T$より大きいことを意味するから, 生存関数で与えられる.    

$$P\left( N_{T}=0\right) =\bar{F}\left( T\right) =e^{-\lambda T}%$$

次に一つのスパイク（$N_{T}=1$）が生じる確率を求める. 一つ目のスパイク間隔を$s_{1}$とすると, 二つ目のスパイク間隔は$T-s_{1}%$より大きい必要がある. $s_{1}$は$[0,T)$の範囲を取りうるからすべての可能性を尽くして

$$P\left( N_{T}=1\right) =\int_{0}^{T}f\left( s_{1}\right) F\left( T-s_{1}\right) ds_{1}$$

$$=\int_{0}^{T}\lambda e^{-\lambda s_{1}}e^{-\lambda\left( T-s_{1}\right) }ds_{1}$$

$$=\lambda Te^{-\lambda T}%$$

同様にして, 二つのスパイク（$N_{T}=2$）が生じる場合は

$$P\left( N_{T}=2\right) =\int_{0}^{T}ds_{1}\int_{s_{1}}^{T}ds_{1}f\left( s_{1}\right) f\left( s_{2}\right) \bar{F}\left( T-s_{1}-s_{2}\right)$$

$$=\int_{0}^{T}ds_{1}\int_{s_{1}}^{T}ds_{2}\lambda e^{-\lambda s_{1}}\lambda e^{-\lambda\left( s_{2}-s_{1}\right) }e^{-\lambda\left( T-s_{2}\right) }$$

$$=\int_{0}^{T}ds_{1}\lambda^{2}e^{-\lambda T}\left( T-s_{1}\right)$$

$$=\frac{1}{2}\left( \lambda T\right) ^{2}e^{-\lambda T}%$$

これを繰り返すと, 一般にスパイク数の分布は

$$P\left( N_{t}=n\right) =\frac{1}{n!}\left( \lambda T\right) ^{n}% e^{-\lambda T}%$$ (1.3)

となる. この分布はポアソン分布と呼ばれる.

Figure 1.1: ポワソン分布 $\lambda =1,3,5$

問題 1   ポアソン分布の平均および分散が$\lambda T$になることを確かめよ.

問題 2   ポアソン分布の特性関数が次式で表されることを導け.

$$f^{\ast}\left( u\right) =\exp\left[ \lambda\left( e^{iu}-1\right) \right]$$ (1.4)

解法 3  

解法 4   指数関数の定義 $\exp\left[ x\right] =\sum_{n=0}^{\infty}\frac{x^{n}}{n!}$を用いる.

$$f^{\ast}\left( u\right) =E\left[ e^{-iun}\right]$$

$$=\sum_{n=0}^{\infty}\frac{e^{-\lambda}\lambda^{n}}{n!}e^{-iun}$$

$$=e^{-\lambda}\sum_{n=0}^{\infty}\frac{\left[ e^{-iu+\ln\lambda}\right] ^{n}}{n!}$$

$$=e^{-\lambda}\exp\left[ e^{-iu+\ln}\lambda\right]$$

$$=\exp\left[ \lambda\left( e^{iu}-1\right) \right]$$

一定スパイク数の待ち時間（アーラン分布）

記憶なしの特徴を持つスパイクが$n$回起こるまでの時間が$T$秒となる確率を計算しよう. $n=1$の場合は指数分布になることは見た. そこで, 次に$n=2$の場合を考えよう. ２回目のスパイクの時刻が$T$である確率である. １回目のスパイクが起こる時刻を$s_{1}$とすると, その確率は $f\left( s_{1}\right)$で与えられる. ２回目のスパイクが$T$で生じる確率は$s_{1}$は $f\left( T-s_{1}\right)$である. この２つを掛け合わせた確率が, ２つのスパイクが起こるまでの時間が$T$である確率になる. $s_{1}$は$(0,T]$のどれを取ることもできるから, すべての可能性の和をとって

$$f\left( T\right) =\int_{0}^{T}ds_{1}f\left( s_{1}\right) f\left( T-s_{1}\right)$$

$$=\int_{0}^{T}ds_{1}\lambda e^{-\lambda s_{1}}\lambda e^{-\lambda\left( T-s_{1}\right) }$$

$$=\lambda^{2}Te^{-\lambda T}%$$

となる. 同様にして, $n=3$の場合は

$$f\left( T\right) =\int_{0}^{T}ds_{1}\int_{0}^{T-s_{1}}ds_{2}f\left( s_{1}\right) f\left( s_{2}\right) f\left( T-s_{1}-s_{2}\right)$$

$$=\int_{0}^{T}ds_{1}\int_{0}^{T-s_{1}}ds_{2}\lambda e^{-\lambda s_{1}% }\lambda e^{-\lambda s_{2}}\lambda e^{-\lambda\left( T-s_{1}-s_{2}\right) }$$

$$=\lambda^{3}e^{-\lambda T}\int_{0}^{T}ds_{1}\left( T-s_{1}\right)$$

$$=\frac{1}{2}\lambda^{3}T^{2}e^{-\lambda T}%$$

である. これを繰り返せば, 一般に$n$回のスパイクが生じるまでの確率であるアーラン分布

$$f\left( T\right) =\frac{1}{\left( n-1\right) !}\lambda^{n}T^{n-1}% e^{-\lambda T}%$$ (1.5)

が導かれる. この分布は部分積分を繰り返すことで帰納法を用いて証明することができるから, 自分でやってみるとよい. アーラン分布の平均は$n/\lambda$, 分散は $n/\lambda^{2}$である.    今の場合, $n$が整数なのでアーラン分布（Erlang distribution）と呼ばれる. $n$を実数$\kappa$に拡張した分布はガンマ分布(Gamma distribution)という.

問題 5   アーラン分布を指数分布のラプラス変換を用いて求めよ.

解法 6   まずアーラン分布のラプラス変換 $G_{n}^{\ast}\left( s\right)$を求めておくと

$$G_{n}^{\ast}\left( s\right) =\int_{0}^{\infty}\frac{\lambda^{n}}% {\Gamma\left( n\right) }t^{n-1}e^{-\lambda t}e^{-st}dt$$

$$=\frac{\lambda^{n}}{\Gamma\left( \alpha\right) }\int_{0}^{\infty}% t^{n-1}e^{-\left( \lambda+s\right) t}dt$$

$u=\left( \lambda+s\right) t$とおいて,

$$G_{\alpha}^{\ast}\left( s\right) =\frac{\lambda^{n}}{\Gamma\left( n\right) }\int_{0}^{\infty}\left( \frac{u}{\lambda+s}\right) ^{n-1}% e^{-u}\frac{du}{\lambda+s}$$

$$=\left( \frac{\lambda}{\lambda+s}\right) ^{n}\frac{1}{\Gamma\left( \alpha\right) }\int_{0}^{\infty}u^{n-1}e^{-u}du$$

$$=\left( \frac{\lambda}{\lambda+s}\right) ^{n}%$$

次に, 独立な確率変数の和 $X_{1}+X_{2}+\cdots+X_{n}$の特性関数 $f_{n}^{\ast}\left( s\right)$は

$$f_{n}^{\ast}\left( s\right) =E\left[ \exp\left\{ -s\left( X_{1}% +X_{2}+\cdots+X_{n}\right) \right\} \right]$$

$$=E\left[ e^{-sX_{1}}\right] E\left[ e^{-sX_{2}}\right] \cdots E\left[ e^{-sX_{1}}\right]$$

$$=f^{\ast}\left( x_{1}\right) f^{\ast}\left( x_{2}\right) \cdots f^{\ast}\left( x_{n}\right)$$

分布が同一の場合(i.i.d.)は

$$f_{n}^{\ast}\left( s\right) =\left\{ f_{1}^{\ast}\left( s\right) \right\} ^{n}%$$

例えば, $f_{1}^{\ast}\left( s\right)$が指数分布の場合は

$$f_{n}^{\ast}\left( s\right) =\left( \frac{\lambda}{\lambda+s}\right) ^{n}%$$

逆ラプラス変換するとアーラン分布

$$% \mathcal{L}% ^{-1}\left[ f_{n}^{\ast}\left( s\right) \right] =\frac{\lambda^{n}}% {\Gamma\left( n\right) }t^{n-1}e^{-\lambda t}%$$

になる.

アーラン分布とポアソン分布の関係

Figure 1.2: スパイク数とスパイク間隔の関係

今度は逆に$T$秒間に生じるスパイクの個数$n$の分布を調べてみよう. このためには, スパイク間隔とスパイク個数との関係を定義する必要がある. $N_{T}$を時刻0から$T$までのスパイクの個数, $S_{n}$を第$n$番目のスパイクまでの時間とする. 今, $T$が$S_{n}%$より短い時間だったとしよう（$S_{n}>T$）. このとき, 時刻$T$までに含まれるスパイクの数は高々$n-1$個である（図参照）. このことから次の関係が成り立つ.

$$P\left( N_{T}<n\right) =P\left( S_{n}>T\right)%$$ (1.6)

右辺は$n$回のスパイクが生じるまでの待ち時間が$T$秒以上である確率, すなわちアーラン分布の生存関数で    

$$P\left( S_{n}>T\right) =\int_{T}^{\infty}\frac{1}{\left( n-1\right) !}\lambda^{n}t^{n-1}e^{-\lambda t}dt$$

$$=\sum_{k=0}^{n-1}\frac{\left( \lambda T\right) ^{k}}{k!}e^{-\lambda T}%$$

これは部分積分を用いて求めることができるから, 自分で求めてみるとよい. 従ってスパイク数の累積分布関数は, 1.6に代入して,

$$P\left( N_{T}<n\right) =\sum_{k=0}^{n-1}\frac{\left( \lambda T\right) ^{k}}{k!}e^{-\lambda T}%$$

時刻tまでのスパイクの個数が$n$である確率は, $P\left( N_{T}=n\right) =P\left( N_{T}% <n+1\right) -P\left( N_{T}<n\right)$である. これを用いれば,

$$P\left( N_{T}=n\right) =\frac{\left( \lambda T\right) ^{n}}{n!}e^{-\lambda T}%$$ (1.7)

となり, 再びポアソン分布が得られる.

瞬間スパイク生成率

ここまで, 指数分布をもとに定常ポアソン過程の性質を見てきた. 1.1.2では指数分布からポアソン分布を, 1.1.3及び1.1.4では指数分布からアーラン分布を経てポアソン分布を求めた. この節示すように, 指数分布及び ポアソン分布はスパイクの瞬間発生率 $\lambda\left[ \text{spike}/s\right]$を考えることでも求めることができる.

指数分布の導出

時刻$T$を十分に小さな幅$\Delta$の区間によって$\Delta/T$個に分ける. $\Delta$内に生じるスパイクの確率は $\lambda\Delta$で与えられる. 時刻$T$までスパイクが起こらず, 時刻$T$においてスパイクが生じる確率は

$$f\left( T\right) \Delta=\left( 1-\lambda\Delta\right) ^{N-1}\lamb... ...elta=\left( 1-\lambda\Delta\right) ^{N}\frac{\lambda\Delta}{1-\lambda \Delta}.$$

ここで $\left\vert x\right\vert <1$に対する公式

$$\log\left( 1-x\right) =-x-\frac{1}{2}x^{2}-\frac{1}{3}x^{3}\cdots$$ $$%$$

$$\frac{1}{1-x}=1+x+x^{2}+x^{3}\cdots$$

を思い出せば,    第一成分は, 十分に小さな$\Delta$でに対して

$$\left( 1-\lambda\Delta\right) ^{N} =\exp\left[ N\log\left\{ 1-\lambda\Delta\right\} \right]$$

$$=\exp\left[ N\left\{ -\lambda\Delta-\frac{1}{2}\left( \lambda \Delta\right) ^{2}+\cdots\right\} \right]$$

$$\sim\exp\left[ -\lambda T\right]$$

もう少し簡単な求め方として,

$$\lim_{\Delta\rightarrow0}\left( 1-\lambda\Delta\right) ^{N}=\lim _{N\rightarrow\infty}\left( 1-\lambda T\frac{1}{N}\right) ^{N}=e^{-\lambda T}%$$

としてもよい.

第二成分は

$$\frac{\lambda\Delta}{1-\lambda\Delta} =\lambda\Delta\left\{ 1+\lambda\Delta+\left( \lambda\Delta\right) ^{2}+\cdots\right\}$$

$$\sim\lambda\Delta$$

となる. 従って確率分布は指数分布になる.

$$f\left( T\right) =\lambda e^{-\lambda T}%$$

この導出法は一般点過程の考察でも重要になってくる. ここでは瞬間スパイク生成率を$\lambda$として出発し, 瞬間スパイク発火率$\lambda$に従うスパイク時系列のスパイク密度分布は平均$1/\lambda$の指数分布になることがわかった. すなわち指数分布の$\lambda$は瞬間スパイク発火率を表す.

ポアソン分布の導出

瞬間スパイク生成率から直接, ポアソン分布を求めることもできる.$\ N$個の区間のうち$n$個にスパイクが生じる確率は,

$$p\left( N_{T}=n\right) =\left( \begin{array}[c]{c}% N\\ n \end{array} \right) \left( \lambda\Delta\right) ^{n}\left( 1-\lambda\Delta\right) ^{N-n}$$

$$=\frac{N!}{n!\left( N-n\right) !}\left( \frac{\lambda\Delta}% {1-\lambda\Delta}\right) ^{n}\left( 1-\lambda\Delta\right) ^{N}$$

$$\sim\frac{N!}{\left( N-n\right) !}\frac{1}{n!}\left( \lambda \Delta\right) ^{n}\exp\left( -\lambda T\right)$$

$$=\frac{N!}{N^{n}\left( N-n\right) !}\frac{1}{n!}\left( \lambda T\right) ^{n}\exp\left( -\lambda T\right)$$

$$\rightarrow\frac{\left( \lambda T\right) ^{n}}{n!}\exp\left( -\lambda T\right)$$

ただし最後のステップでは, スターリンの公式 $\ln N!\sim N\ln N-N$を使って,

$$\ln\frac{N!}{N^{n}\left( N-n\right) !} =\ln N!-n\ln N-\ln\left( N-n\right) !$$

$$\sim N\ln N-N-n\ln N-\left( N-n\right) \ln\left( N-n\right) +\left( N-n\right)$$

$$=\left( 1-\frac{n}{N}\right) \ln\left( 1-\frac{n}{N}\right) ^{N}-n$$

$$\rightarrow1\cdot\ln e^{-n}-n$$

$$=0$$

を用いた.