« November 2006 | Main | May 2007 »

確率微分方程式超入門

どうも世の中の確率微分方程式の入門はハイブロウすぎると思う。経済学のいくつかの講義ノートを見たけど、ボレル集合族とか確率空間とか伊藤積分とかはやりすぎ。そういうのは微分を学ぶのにいきなりε-δ論法から入門するみたいなものだ[1]。物理屋風の方法論なら以下のように簡単に伊藤の補題も導きだされる。きちんとしたのはその後でよい。

さて、確率微分方程式とは連続時間でランダムな擾乱を受ける系を記述する微分方程式である。

例えばブラウン運動を考えてみよう。ブラウン運動では粒子はランダムに動く。そして試行をくり返せばその統計集団は正規分布に従う。そして分布の標準偏差は時間tの時には √t に比例する。これがブラウン運動の基本的な性質である。

ブラウン運動を微視的に見れば、それぞれの微小時間Δtごとに大きさ b √Δtの正規分布に従う動きをしている。一般の微分方程式であればΔtのあいだの粒子の動きΔXは、Δtの一次に比例する。それに対してブラウン運動では、√Δtに比例する。このブラウン運動の微小過程を
  ΔX = b ΔZ
と書いてみる。ΔZは標準偏差√Δtの正規分布を表す確率変数である。するとXも確率変数となる。ここで異なる時間のΔZ(t)とΔZ(t')は独立であるのがポイントである。さらに一定速で水が流れているような時のブラウン運動
  ΔX = a Δt + b ΔZ
なども考えられる。これがgeneralized Wiener過程である。流速 a は空間座標xに依存しても良いし、時間に依存してもよい。
  ΔX = a(X, t) Δt + b ΔZ
(場所によって温度がちがうかも知れないし)ブラウン運動の大きさ自体も空間、時間に依存してよい。
  ΔX = a(X, t) Δt + b(X, t) ΔZ
とここまで一般化したのが、伊藤過程である。

さてこのように確率変数Xの微小変化が記述されている時に確率変数 X2の微小変化を考えてみる。普通にチェインルールを使って
  ΔX2 = 2 X ΔX    (1)
だろうか? そうは行かない。単純なブラウン運動
  ΔX = b ΔZ
のときtにおける分散は b t だからtに比例して大きくなる。(1)式は増大と減少が同じだから期待値としては0のままであるけど、実際はX2の期待値は t に比例して増大しなければならない。

一般の関数 f(X, t) で考えよう。ある時刻 t に座標x0に粒子が居てΔX = a + b ΔZ で運動するとする。時刻Δt では 粒子の x 座標は x0 + aΔt を中心とした分散 b √Δt の正規分布をとる。このとき、f(X, t)は中心 f(x0, t) + b2Δt f''(x0, t) で分散 (b f'(x0))2Δtの正規分布をとる。つまり非線形性の為に分布の中心がΔt に比例してずれている。ここで f' は f の X による一階微分である。ここでΔtの1次より上の次数の項は無視した。またΔt が充分小さければ、局所的には関数は線形なので、この分布は正規分布に充分近くなる。これ以外の項はΔt より高いオーダになるので効かない。

これを考えに入れると微小時間Δtの間にΔfも以下の式のように一般の伊藤過程で動く。
  Δf = a (df(X,t)/dX) Δt + (df(X,t)/dt) Δt + b2(d2f(X,t)/dX2) Δt + b (df(x,t)/dX) ΔZ
第3項が普通のchain ruleで出てこない項であり、先ほどの中心のずれに対応する部分である。そしてこの式が有名な伊東の補題である。

以上の議論はΔtを半分に、そのまた半分に・・・とずっと小さくして行っても結果が変わらない。つまり極限が上手くいっているので、有限を示唆するΔではなくdと書いても良いだろう。だから以降は
  df = a (df/dx) dt + (df/dt) dt + b2(d2f/dx2) dt + b (df/dX) dZ
のように書く。

ではこの確率微分方程式のご利益とはなんだろう。まず反対に確率微分方程式を使わなければ、どうなるか考えよう。ランダム揺動を受ける粒子の運動のような現象は確率分布p(x, t)に対する偏微分方程式で記述し解かなくてはならない。一般に確率微分方程式
  dX = a(x,t) dt + b(x,t) dZ
に対応する偏微分方程式は
  ∂tp(x, t) = (-∂xa(x,t) + 1/2 ∂xx b2) p(x, t)
である[2]。p(x,t)は確率分布関数である。この形をした方程式をフォッカー・プランク方程式という。

そして確率微分方程式のご利益はいくつかの例を考えてみるとわかる。たとえば簡単な
  dX = cX dZ
これは
  d log X = - X-2/2 (c X)2 dt + X-1c X dZ
    = - c2/2 dt + c dZ
だから
  log X = x0 - c2 t/2 + c Z(t)
である。ここで Z(t) は分散 t の正規分布である。確率分布で書けば z = log x が
  p(z, t) = (1/c√t) exp(-1)(z - c2t/2)2/c2 t
という確率分布を持つ事がわかる。これをxに変数変換すると
  f(x, t) = (1/c x√t) exp(-1)((log x - c2t/2)2/c2t)
である。一方これに対応するフォッカー・プランク方程式は
  ∂tf(x, t) = 1/2 ∂xx(c x)2 f(x, t)
で、解は上の f(x, t) なんだけど、解を見つけるのはなかなか面倒でだろう。必要な変数変換を思い付いたら良いけど思い付かないかも知れない。それにくらべて確率微分方程式はほぼ常微分方程式と同じく一本道で解く事ができる。

もう一つの例をやってみよう。
  d X = - c X dt + a dZ
これはランジュバン方程式と呼ばれる。ectX に伊藤の補題を適用すると
  d ectX = - c ectXdt + c ectX dt + a ectdZ = a ectdZ
となる。右辺は時間 t にそって刻々と標準偏差 a ectΔtのホワイトノイズが加わった過程であるので、時刻 t には
  a20te2ctdt = a2/2c * (e2ct-1)
の分散を持つ正規分布になる。だから
  ectX - x0 = Z( a2/2c * (e2ct-1))
が解である。一方対応するフォッカー・プランク方程式
  ∂tf(x, t) = (-∂xx + 1/2 ∂xxa2) f(x, t)
解は
  f(x,t) = c1/2(πa2(1-e-2ct))-1/2 exp(-c(x-x0e-ct)2/a2(1-e-2ct))
だそうで変数変換がかなりめんどくさそうである。(私も真面目にやる気がしない。)

このように、ある種の問題は偏微分方程式を使うよりも確率微分方程式を使った方が遥かに簡単に解くことができる。(流体力学にもオイラー描像とラグランジュ描像があったことを思い出させる。どっちかの形式で難しい問題も別な形式に移ると簡単だったりする。)

以上は物理学的な(つまり数学に比べると乱暴な)導出法であったけど、これを数学的にきちんとするには、まずは伊藤積分を定義してそれの逆として確率微分を定義する。伊藤積分は測度空間の一種である「確率空間」を使って定義される。確率空間は我々もよく知る「サンプルの空間」を非加算に拡張したようなものである。[3]

私はここは面白いところだと思う。例えばブラウン運動のような確率過程は実際に粒子があって、何度も観測を繰り返した結果を記述している。つまりサンプリングの結果である。しかし、物理で一般的な確率分布 p(x, t) による記述はこの粒子が全く見えなくなっている記述である。それに対して、確率微分方程式はこの粒子の追跡を基本としている。それが解の簡単さにつながり、また数学的厳密さにつながるということは面白い。

ランダム項が非常に小さくなると普通の運動方程式になる。一方、同じ過程を確率分布の偏微分方程式に直してしまうとその解き方は運動方程式とは全く違ってしまう。しかし、確率微分方程式はこの極限が見やすいという利点もある。

このように確率微分方程式は一つの役にたつ方法であり考え方である。

余談。株価もそれぞれ微小なランダム変動を繰り返している。ポートフォリオというのはそのような複数の株価の関数 f(x1, x2, ...) であるから、これに確率微分方程式と伊藤の補題を適用できる。経済ノーベルもどき賞を受賞したブラック=ショールズ微分方程式というのは、ただそれだけのことである。


[1] ε-δ論法を学ばなくて良いと言う意味ではない。最初は微小量の考え方で理解した上で、厳密な方法を知るべきという事。

[2] なんで b2 が∂xxの右にあるかと、なぜ2乗なのか考えてみよう。またここで示したのは「伊東の方法」と呼ばれる流儀であるが、もう一つ「ストラトノビッチの方法」という流儀がある。(培風館物理学辞典を参照のこと)

[3] もう少し真面目な入門は確率微分方程式(PDF,by 千葉逸人)をどうぞ。これを読む前提はルベーグ積分を知っていること。ルベーグ積分の前提は位相空間。

| | Comments (1) | TrackBack (0)

テクスチャ合成

I111_1I112_1
まず、右のイメージを見てほしい。囲みの中と外では違っている。

しかし、私の場合、まず遠目にちらっと見た時は違いが分からなかった。低解像度でも分からないかも知れない。つぎによく見ると、周りがランダムで中心が規則的だと思った。そして、ランダムな方が自然だと思った。最後に高解像度で良くみると、周りのほうが変なボケがある事に気がついて、それでこちらが合成であると気がついた。慣れてくると変な ねじれのような ゆがみが ある事にも気がつく。

この研究は99年くらいだから旧聞なんだけど、PortillaとSimoncelliらによるテクスチャ合成の研究により作られたものだ。つまり現実のテクスチャから特徴をパラメータとして抽出して、そのパラメータから合成されたのがこれらのイメージの周辺部分という訳である。彼ら自身による紹介は以下のページである。イメージもそこからとった。

Parametric Model for Visual Texture Representation and Synthesis

この合成の結果は実に見事だと思う。また、ゆがみ具合も、ちょうど夢で見るような感じ。あるいはこれなんかはゴッホに似ているような感じもする。(真っすぐさが捉えられて居ないようだ。つまり長距離の相関を捉え損なっている。)

まえに「image statisticsの研究はまだ現実のイメージとは何かが分からない」というような事を書いたけど、その見解は修正しなくてはならないようだ。つまり現実のイメージを再現する特徴の抽出はほぼ出来ている。

ただし、抽出されるパラメータは多岐に渡っていて、その総数は706個。そもそも合成されるイメージの一単位のピクセル数が同じくらいだから、意地悪く言えば、特徴を抽出しているというよりはイメージの特殊なストアの仕方に過ぎないと言う見方もできる。

| | Comments (0) | TrackBack (0)

« November 2006 | Main | May 2007 »