忍者ブログ

Memeplexes

プログラミング、3DCGとその他いろいろについて


ランダムウォークのエントロピー(単純バージョン)

ここでランダムウォークのエントロピーを計算しましたが、これよりもっと単純で理解しやすくしかも応用が効く考え方で計算するのが今回です。今回は、観察者はだるまさんがころんだのようにランダムウォークから完全に目を離し、その間上昇していくエントロピーを計算します(前回は、ランダムウォークを中途半端に観察して、その中途半端な観察結果からエントロピーを計算していました)。目を離していたら対象に対する無知が大きくなるので、エントロピーも大きくなっていきます。


拍手[0回]




あかちゃんの性別ビット

赤ちゃんが生まれると周りは性別を知りたがります。性別を知ることによって赤ちゃんのエントロピーが1ビット減るのです。エントロピーは無知の度合いを表しており、1ビットの情報を得るということは無知を半分にすることだと定義されているからです。これを図に描いてみます。


拍手[0回]