ビットの基本

ビットの基本を、基礎的なコイン投げの例で復習します。

コイン投げとランダムウォークのちがい

今回はランダムウォークではなく、コイン投げでエントロピーについて考えます。ランダムウォークは単純でしかも楽しい動きをしますが、エントロピーの計算は少しややこしいので直感的ではないのです。というのも、コイン投げは分岐しかしないのに対し、ランダムウォークは合流もあるからです。

上はコイン投げ、下はランダムウォークです。両方とも時間がたつと可能性が広がるという点は共通していますが、ランダムウォークの場合、紫でマークされた部分では合流が起きています。この分、エントロピーの増加はにぶり、その微妙な計算は暗算でするのはかなりめんどくさく、私はギブアップです。

コイン投げのエントロピー

ところがコイン投げの場合はエントロピーの増加しか起こりません。分岐しかしないからです。エントロピーの計算はとてもかんたんで、小学１年生ですら楽に計算できるでしょう。というのも、コイン投げの場合、エントロピーはコインを投げた回数に等しいからです。

３回コイン投げをした時、結果は８通りの可能性があります。そして、８通りの均等な可能性があるばあい、エントロピーは３ビットなのです。コイン投げの場合、コインを投げた回数と、エントロピーのビットは全く同じです。

こんな状況を想像してみて下さい。あなたの知り合いが隣の部屋でコインを投げては結果を記録用紙に記入し続けているとき、あなたはその記録用紙に書かれた内容を正確に言い当てる可能性がどんどん減ります。エントロピーは無知の尺度なので、エントロピーは増えていくわけです。（ところが、それはあなたにとってのエントロピーが増えているというだけで、結果を知っているあなたの知り合いにとっては０ビットです。）

あなたの見えないところでコインを一度投げると、あなたにとってのエントロピーはちょうど１ビット増えます。これは、エントロピーの定義が、無知が２倍になると１ビットふえるというものだからです。

時間逆転コイン投げ

ではコイン投げを時間逆転したらどうなるか考えてみましょう。別の部屋で時間逆転コイン投げをしているあなたの知り合いは、時間逆転コイン投げするたびに、記録用紙から結果を消していきます。最終的には記録用紙は白紙になり、あなたは確実にコイン投げ記録用紙の内容を言い当てることができるでしょう。「記録用紙は完全な白紙だ！」つまりエントロピーは減少し、０ビットになるのです。

この図は、合流によってエントロピーが減っていく状況を表しています。上のふつうのコイン投げの樹形図と比べて下さい。分岐するとエントロピーは増え、合流するとエントロピーは減るのです。

ビットの基本

ここまでの話をもとに、次の２つの基本的な図を描くことができます。

世界が同じ確率の２つの可能性に分岐するときには、エントロピーが1bitふえます。２つの同じ確率の可能性が合流するときには、エントロピーが1bitへります。

上の方で、ランダムウォークはコイン投げよりエントロピーが少なくなると書きましたが、それはランダムウォークには（分岐だけでなく）合流もあるからです。ただしランダムウォークの合流によるエントロピー減少は、この図の-1bitのようなわかりやすい数字ではなく、きりの悪い小数となり、だから私は暗算するのをギブアップしたのです。しかしここでほんとうに重要なのはこれです：「合流するぶん、エントロピーが少し減る」。ランダムウォークのエントロピーが全体としては増えていくのは、合流より分岐のほうが多いからです。