数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その102【最適化アルゴリズム①】
もう一個試す予定の最適化アルゴリズムへ至る系譜を説明予定。
プログラム化して試すのはAdamだが、それに至るアルゴリズムを数式レベルで確認。
Adam以降の最適化アルゴリズムもあるが、基本はAdamベースでクリッピングが入ってる感じ。
最適化アルゴリズム
数値計算 
数値計算 【入門】モーメンタム(勾配降下法との差分)【数値計算】
最適化アルゴリズムを通常の勾配降下法からモーメンタムに変えた際の差分を確認。
モーメンタムの方が学習の収束が早い。
勾配降下法で500エポックのところ100エポック。
モーメンタムの場合、初期のパラメータ移動が大き目。
これにより、大域最適化を見つける可能性が高くなる。
数値計算 【入門】モーメンタム(Julia)【数値計算】
最適化アルゴリズム モーメンタムを用いて分類の学習をJuliaで実現。
問題無く動作。
学習の収束が通常の勾配降下法よりも比較的早い。
数値計算 【入門】モーメンタム(Scilab)【数値計算】
最適化アルゴリズム モーメンタムを用いて分類の学習をScilabで実現。
問題無く動作。
学習の収束が通常の勾配降下法よりも比較的早い。
数値計算 【入門】モーメンタム(Python)【数値計算】
最適化アルゴリズム モーメンタムを用いて分類の学習をPythonで実現。
問題無く動作。
学習の収束が通常の勾配降下法よりも比較的早い。
数値計算 【入門】モーメンタム(MATLAB)【数値計算】
最適化アルゴリズム モーメンタムを用いて分類の学習をMATLABで実現。
問題無く動作。
学習の収束が通常の勾配降下法よりも比較的早い。
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その101【モーメンタム⑪】
最適化アルゴリズムを通常の勾配降下法からモーメンタムに変えた際の差分を確認。
モーメンタムの方が学習の収束が早い。
勾配降下法で500エポックのところ100エポック。
モーメンタムの場合、初期のパラメータ移動が大き目。
これにより、大域最適化を見つける可能性が高くなる。
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その100【モーメンタム⑩】
最適化アルゴリズム モーメンタムを用いて分類の学習をJuliaで実現。
問題無く動作。
学習の収束が通常の勾配降下法よりも比較的早い。
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その99【モーメンタム⑨】
最適化アルゴリズム モーメンタムを用いて分類の学習をScilabで実現。
問題無く動作。
学習の収束が通常の勾配降下法よりも比較的早い。
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その98【モーメンタム⑧】
最適化アルゴリズム モーメンタムを用いて分類の学習をPythonで実現。
問題無く動作。
学習の収束が通常の勾配降下法よりも比較的早い。