忍者ブログ

Memeplexes

プログラミング、3DCGとその他いろいろについて

おどろき

エントロピーにはさまざまな解釈が可能です。エントロピーとは時間が経つと大きくなる何かであり、観測者が無知だと大きくなる何かでもあります。ここでは、おどろきぐあいの期待値としてのエントロピーを考えます。


驚きをビットで表す

人がおどろくのはどういうときか考えてみましょう。北海道で雪が降っても誰もおどろきませんが、沖縄で雪が降ったらおどろきです。どうしてそうなるのかというと、北海道で雪が降る確率は高いのに対し、沖縄で雪が降る確率は低いからです。つまり、おどろきは確率が低い出来事が実際に起きたときに生じるのです。予想外の出来事が起きたときおどろくのは、予測とはつまり確率が高い出来事に対して行うものだからです。

数学ではおどろきを次のようにビットで表します。

確率がの出来事の驚き
= bit

コイン投げをしておもてが出た時の驚きがちょうど1ビットです。確率1/2だと1ビットなのです。しかしもっと小さな確率の出来事、たとえばコイン投げで2回連続おもてが出た時の驚きは2ビットです。

ここで、ふと疑問に思うかもしれません。この計算方法では、サイコロはどの目が出ようとおどろきは同じです(どの目も確率1/6)。しかし実感としては、サイコロで6が出た時のおどろきと2とか3とかそういう平凡な目が出た時のおどろきは、違うような気がします。すごろくをやっていたら、6が出るほうが嬉しいにきまっています。接戦なときに相手が6を出したらおどろくでしょう。

これは、あなたがすごろくをやっているからです。もし6を出しても対して意味がないようなゲームをやっていたら、心理的な驚きは小さくなるでしょう。たとえば1を出せば100万円もらえ、他の数字だと何ももらえないというゲームをやっていたら、2~6はひとまとめにされて平凡な、サプライズの小さい目になるわけです。計算上のサプライズと心理的なサプライズが違うように一見思えるのは、おそらくわたしたちが無意識のうちに複数のものをひとまとめにして驚きを考えているからです。

エントロピー

驚きはエントロピーを理解するのに使えます。実は、エントロピーとは次の瞬間の自分のおどろきの期待値と言えます。デモを書きました:

エントロピー = 1 bit

操作方法

おもて―うら:コイン投げをしたときの確率をねじ曲げます。

解説

わかりやすい、極端なケースを考えましょう。おもてが出る確率を100%にしてください。そうすると、おもての驚きは0ビット、うらが出た時の驚きは無限大ビットとなります。無限の驚きというのは変な話に思えるかもしれませんが、今、うらが出る確率は0%だということを思い出して下さい。確率0%の出来事がおきたら驚きだって無限です。ありえないからです!いっぽう、おもての驚きは0ビットです。100%起きるとわかっていることが起きてもおどろくわけがありませんからね。

この時のエントロピーは0ビットです。無限大という数字を出しておいて最終的な計算結果が0になるのは変だと思うかもしれませんが、エントロピーはあくまで期待値なのでいいのです。クラスの平均身長を計算するとき、0人だけ無限大メートルの巨人が混ざっていても、最終的な計算結果には何の影響も及ぼさないのと同じです。無限大ビットになる出来事はそもそも起きないので、平均的な驚きはおもての驚きとおなじになるのです。

驚きの期待値としてエントロピーを考えると、エントロピーが観測者によって異なるという話はかんたんに理解できます。というのも、人によって何におどろくかは違うからです。過去からタイムトラベルしてきた原始人がわたしたちの文明を見ればさぞおどろくでしょうが、わたしたちにとっては日常の一部でしかありません。車が走っているのを見ておどろく人は(私たちの時代には)いないのです。このばあい、過去からの来訪者にとって、外の世界のエントロピーは最初高いでしょう。何を見ても驚きしかないからです。しかし現代で色んな体験をしていくにつれ、世界が予測可能なものとなり、エントロピーは下がるのです。知識がエントロピーを下げるのです。

拍手[0回]

PR