数値計算 【入門】最適化アルゴリズム(Julia)【数値計算】
ニューラルネットワークの最適化アルゴリズムAdamをJuliaにて確認。
学習率を0.001にしている都合、収束までは時間がかかる。
勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。
Julia
数値計算 
数値計算 MATLAB,Python,Scilab,Julia比較 第4章【バックナンバー】
はじめに MATLAB,Python,Scilab,Julia比較するシリーズの第4章。 第3章では画像処理、座標変換の話がメインだった。 第4章は分類問題関連の話がメインとなる。基本的には以下の流れとなる。 形式ニューロン 決定境界線の安...
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その112【最適化アルゴリズム⑪】
ニューラルネットワークの最適化アルゴリズムAdamをJuliaにて確認。
学習率を0.001にしている都合、収束までは時間がかかる。
勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。
数値計算 【入門】モーメンタム(勾配降下法との差分)【数値計算】
最適化アルゴリズムを通常の勾配降下法からモーメンタムに変えた際の差分を確認。
モーメンタムの方が学習の収束が早い。
勾配降下法で500エポックのところ100エポック。
モーメンタムの場合、初期のパラメータ移動が大き目。
これにより、大域最適化を見つける可能性が高くなる。
数値計算 【入門】モーメンタム(Julia)【数値計算】
最適化アルゴリズム モーメンタムを用いて分類の学習をJuliaで実現。
問題無く動作。
学習の収束が通常の勾配降下法よりも比較的早い。
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その100【モーメンタム⑩】
最適化アルゴリズム モーメンタムを用いて分類の学習をJuliaで実現。
問題無く動作。
学習の収束が通常の勾配降下法よりも比較的早い。
数値計算 【入門】ユニット数増加(Julia)【数値計算】
多層パーセプトロンの隠れ層のユニット数を2から4に変えたJuliaコードで分類を実施。
大きく2パターンの分類パターンがある。
やや複雑な分類パターンが4ユニットにすることで出てきたもの。
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その90【ユニット数増加⑤】
多層パーセプトロンの隠れ層のユニット数を2から4に変えたJuliaコードで分類を実施。
大きく2パターンの分類パターンがある。
やや複雑な分類パターンが4ユニットにすることで出てきたもの。
数値計算 【入門】誤差逆伝播法(Julia)【数値計算】
多層パーセプトロンによる分類をJuliaで実施。
一応ちゃんと分類できた。
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その83【誤差逆伝播法⑩】
多層パーセプトロンによる分類をJuliaで実施。
一応ちゃんと分類できた。