多層パーセプトロン

数値計算

MATLAB,Python,Scilab,Julia比較 第4章 その102【最適化アルゴリズム①】

もう一個試す予定の最適化アルゴリズムへ至る系譜を説明予定。プログラム化して試すのはAdamだが、それに至るアルゴリズムを数式レベルで確認。Adam以降の最適化アルゴリズムもあるが、基本はAdamベースでクリッピングが入ってる感じ。
数値計算

【入門】モーメンタム(勾配降下法との差分)【数値計算】

最適化アルゴリズムを通常の勾配降下法からモーメンタムに変えた際の差分を確認。モーメンタムの方が学習の収束が早い。勾配降下法で500エポックのところ100エポック。モーメンタムの場合、初期のパラメータ移動が大き目。これにより、大域最適化を見つける可能性が高くなる。
数値計算

【入門】モーメンタム(Julia)【数値計算】

最適化アルゴリズム モーメンタムを用いて分類の学習をJuliaで実現。問題無く動作。学習の収束が通常の勾配降下法よりも比較的早い。
数値計算

【入門】モーメンタム(Scilab)【数値計算】

最適化アルゴリズム モーメンタムを用いて分類の学習をScilabで実現。問題無く動作。学習の収束が通常の勾配降下法よりも比較的早い。
数値計算

【入門】モーメンタム(Python)【数値計算】

最適化アルゴリズム モーメンタムを用いて分類の学習をPythonで実現。問題無く動作。学習の収束が通常の勾配降下法よりも比較的早い。
数値計算

【入門】モーメンタム(MATLAB)【数値計算】

最適化アルゴリズム モーメンタムを用いて分類の学習をMATLABで実現。問題無く動作。学習の収束が通常の勾配降下法よりも比較的早い。
数値計算

MATLAB,Python,Scilab,Julia比較 第4章 その101【モーメンタム⑪】

最適化アルゴリズムを通常の勾配降下法からモーメンタムに変えた際の差分を確認。モーメンタムの方が学習の収束が早い。勾配降下法で500エポックのところ100エポック。モーメンタムの場合、初期のパラメータ移動が大き目。これにより、大域最適化を見つける可能性が高くなる。
数値計算

MATLAB,Python,Scilab,Julia比較 第4章 その100【モーメンタム⑩】

最適化アルゴリズム モーメンタムを用いて分類の学習をJuliaで実現。問題無く動作。学習の収束が通常の勾配降下法よりも比較的早い。
数値計算

MATLAB,Python,Scilab,Julia比較 第4章 その99【モーメンタム⑨】

最適化アルゴリズム モーメンタムを用いて分類の学習をScilabで実現。問題無く動作。学習の収束が通常の勾配降下法よりも比較的早い。
数値計算

MATLAB,Python,Scilab,Julia比較 第4章 その98【モーメンタム⑧】

最適化アルゴリズム モーメンタムを用いて分類の学習をPythonで実現。問題無く動作。学習の収束が通常の勾配降下法よりも比較的早い。