かんたん！制限付きボルツマンマシン実装 実数（0から1）バージョン (C#) [Deep Learningシリーズ]

ニューロンの発火状態が実数

さて今回はあまり自信がありません。
もっとも私はいつも自信がないのですが、今回はいつもよりさらに自信がありません。
プログラムは上手く動くように見えるのですが、その理論的背景がよくわかりません！
間違いがあったら訂正していただけるとありがたいです。

[追記]　どうもこちらのほうが正しいような気がしてきました。リンク先もご覧ください。どちらの性能が高いかというとこのページのやり方のほうがいい気がします。うーんどっちを使うべきなんでしょう？

[追記２]　こちらもご覧ください。この記事のプログラムは、学習データに1が多いと上手く学習できないようです。それを修正しました。

今回のテーマは制限（制約）付きボルツマンマシンの実装、実数バージョンです。
この前の実装は、バイナリでした。
つまり、可視ニューロンには発火しているかどうかの2通りしかありませんでした。
発火状態は0か1かしか扱えなかったのです。
（その割には可視ニューロンの発火状態の型が（boolではなく）doubleだったりと妙なことになっていましたが）

（

２通りしか無いと画像はこうなります。）

かんたん！制限付きボルツマンマシン コントラスティブ・ダイバージェンス（Contrastive Divergence）法[Deep Learningシリーズ]

コントラスティブ・ダイバージェンス法

制限付きボルツマンマシン（Restricted Boltzmann Machine : RBM）は覚えたパターンを後で思い出す能力を持ったニューラルネットワークです。
あるパターンを覚え、後でそれに似たパターンを入力してやると、最初に教えたパターンを思い出すことができます。
制限付きボルツマンマシンはDeep Learningするネットワークの一部に使われています。
ですからDeep Learningしようと思ったら、制限付きボルツマンマシンを学んで損はないでしょう。



制限付きボルツマンマシンの学習には、コントラスティブ・ダイバージェンス（Contrastive Divergence : CD）という方法が有名なようです。
ですので、今回はこのコントラスティブ・ダイバージェンス法について解説します。

かんたん！制限付きボルツマンマシン実装 (C#) バイナリ（0と1）バージョン [Deep Learningシリーズ]

Implementing Restricted Boltzmann Machine(RBM) in C#

YUSUKE SUGOMORIさんのjavaコードやその他のコードいろいろを参考にしてC#で制限付きボルツマンマシンを実装してみました。
私好みに書き換えていくとだいぶプログラムの行数が無駄に膨れ上がってしまいましたが、まあよしとしましょう。

Visual Studio 2012でTypeScriptがビルドできなくなる問題

TypeScriptのプロジェクトである時突然ビルドできなくなりました。

Cannot resolve referenced file: 'myFile.ts'.
Could not find file: '~~\myFile.ts'.

といった調子です。
ファイルがない？
何を言っているんでしょう？
myFile.tsならここにあるのに！
（エクスプローラーでちゃんと確認もしました）

プロジェクトを一旦削除したりして、一時間くらい停滞してわかりました。
コメントを英語にしましょう！
コメントに日本語を使ってはいけません！

…どうして？
ここによるとエンコーディングの問題のようですね。

なお、そのままだとどうも気持ち悪いので、メモ帳でmyFile.tsを開いてUTF-8で保存しなおしました。
そうすると日本語コメントでもビルドできるようになります。

[Deep Learningシリーズ] かんたんHopfieldネットワーク

Deep Learning

最近Deep Learningというものが話題になっています。
Deep Learningはコンピュータの学習手法の一つです。
一年ほど前（2012年）GoogleがコンピュータにたくさんのYoutube画像を見せネコの顔を自発的に学ばせたということで有名ですね。
人工知能学会誌には現在ディープラーニングの解説が連載中です。
Deep Learningはコンピュータ関係で現在最もホットな話題の一つといえるでしょう。

というわけでこのブログでもDeep Learningを取り上げてみたいと思います。
しかしいきなりDeep Learningの全容に迫るのは難しいのでまずは簡単な話から始めましょう。
今回はHopfield（ホップフィールド）ネットワークです。