強化学習でマウスポインタを追いかけるロボット（actor critic）1D

強化学習のactor criticアルゴリズムのデモを作りました。
マウスポインタをボール型のロボットが追いかけます。
マウスポインタに近づくことがボール型ロボットにとって報酬なのです。

３次元空間の知的生命体は５次元の大脳皮質を持っていなければならない

ホモ・サピエンスの大脳皮質は２次元です。
大脳はもちろん３次元空間に存在しますが、大脳皮質は脳の表面に２次元のしわくちゃなシートとして存在しています。

しかしこれは、領野間の神経接続や血管などを通すため仕方がなく２次元になっただけで、実際には大脳”皮”質は５次元であるのが理想的だということをここでは述べます。

色相環を描くSom

脳のモデルであるSom（自己組織化マップ）で色相環を描きます。
ランダムに色を入力していくと勝手に色を分類して結果として色相環が描けます。

StageXL 0.12.0でキャンバスに描画が出来ない時には

StageXLの最新バージョン0.12.0にして描画ができなくなってしまいハマったので解決方法をメモしておきます。
解決方法はこれです。

描画し終わった後、applyCache()メソッドを呼ぶ。

詳しくは以下をお読みください。

ラプラシアンで遊ぼう！

マウスで絵を描くとそのラプラシアン画像をリアルタイムで表示するプログラムを書きました。
これは人の目が物体の輪郭を検出するのに行っている計算です。

デモ

色 :

■

ペンのサイズ :

遊び方

キャンバスが２つあります。
上のキャンバスにマウスで絵を描きましょう。
下のキャンバスにその絵のラプラシアンが表示されます。

ラプラシアンは輪郭を表します。
同じ色ならつまらない灰色ですが、色の境界線は白と黒で目立ちます。

ペンの色や太さを変えていろいろな絵を描いてみましょう。

目の錯覚

ときどき、黒で描いた線と白色で描いた線のラプラシアンが違う色に見えるかもしれません。
でも実際には同じ色です。
違うのは境界あたりだけで、その中身は全部同じ灰色です。
境界のあたりの色の強弱のせいで、違う色に見えるのです。

注意

このデモではある点のラプラシアンを次のように計算しています。

-1/8	-1/8	-1/8
-1/8	+1	-1/8
-1/8	-1/8	-1/8

画像の各ピクセルについて、3x3の領域の計算を行って、新たなラプラシアン画像を作り出しています。
中心点の周りが全部同じ色だと0になりますが、周りが違う色だと0でなかったりします。

でも数学で使われるラプラシアンだとこっちのほうがわかりやすいかもしれません。

0	+1/4	0
+1/4	-1	+1/4
0	+1/4	0