2016年02月10日

Extreme Learning Machineのテスト

ニューラルネットワークのような感じでバックプロパゲーションで重みを学習するのではなく、最小二乗法で計算するELM(Extreme Learning Machine)というものがあるみたいなので、試してみました[1][2]。

ネットワーク構成
elm_001.png
最初バイアス入力を入れずにやっていて、近似できないので困っていました。出力の閾値の代わりとして入れているものなので、ELMでも当然必要でした。

elm_002.png

最小二乗法の計算は、[2]にも書かれていますが、データ数>未知数の場合と、データ数<未知数の場合で場合分けするべきですが、今回は片方しか書いていません。

elm_003.png

実行結果

活性化関数にシグモイド関数を使っています。とりあえずsinc関数に一様乱数ノイズを付与した入力データに対して、ELMを使用して関数近似してみました。中間層50,データ数100です。

elm_004.png

[1] Extreme Learning Machine
[2] Extreme Learning Machine
posted by シンドラー at 20:38 | Comment(0) | TrackBack(0) | Machine Learning | このブログの読者になる | 更新情報をチェックする
この記事へのコメント
コメントを書く
お名前:

メールアドレス:

ホームページアドレス:

コメント:

認証コード: [必須入力]


※画像の中の文字を半角で入力してください。
※ブログオーナーが承認したコメントのみ表示されます。

この記事へのトラックバック