ランダムウォークの位置のおどろき

基礎の復習です。今回は、しばらく放置したランダムウォークを見た時どのくらいおどろくかについてです。

ランダムウォーク粒子の存在確率

ランダムウォークはランダムに動くため、時間が経つにつれどこにあるのかよくわからなくなっていきます。確率がどんどん薄くなっていくのです。

この図は、ランダムウォーク粒子の存在確率です。ランダムウォークをスタートさせたばかりのときは、ある一点にしか存在しないことがわかりきっているので、その点が100%です。次の瞬間は２つに分岐するので、50%50%です。時間が経てば経つほど、この数字はバラけていきます（どんなに時間がたっても合計が100%ということはかわりません）。粒子の位置はどんどん予測不可能になっていきます。

位置を知った時の驚き

では、ランダムウォークをスタートさせ、しばらくよそ見をしたあとふたたびランダムウォークを観察すると、どのくらい「おどろく」でしょう？ここでは、驚きという言葉を、確率の小さいものほど大きくなるものとして使います（犬が人に噛み付いてもあまり驚きませんが、人が犬に噛み付いたら驚きです）。ランダムウォークはどんどん確率が薄まっていく――確率の小さい場所が増えていく――ので、時間が経てば経つほど驚きやすくなるでしょう。

具体的な驚きの数値は、次の図のようになります：

さっきと違って、丸の中には驚きを表すビットが描かれています。驚きの単位はビットです。数字が大きければ大きいほど、その場所でランダムウォーク粒子を見つける確率が低く、よりおどろくのです。たとえば一番下の○には0bitと書かれていますが、それはその場所に存在する確率は100%なので、驚きも０だということです。上の方の○は確率が低いので、驚きビットも大きいです。

驚きの単位がビットであるということは、エントロピーの単位もビットであるということと関係があります。エントロピーとは、驚きの期待値なのです。クラスに身長の高い生徒が多いほどクラスの平均身長も上がるのと同じように、驚きが多いほどエントロピーも上がります。そして、両者の単位は全く同じなのです。上の図では、時間が経つほど驚きの数字も大きいものが増えていきますが、そのためエントロピーが時間とともに増えていくのです。