数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その103【最適化アルゴリズム②】
AdaGradについて説明。
更新式をモーメンタムと比較。
更新幅は、最初は大きく、徐々に小さくなり、最終的には学習が進まなくなる欠点を抱えている。
分類問題
数値計算 
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その102【最適化アルゴリズム①】
もう一個試す予定の最適化アルゴリズムへ至る系譜を説明予定。
プログラム化して試すのはAdamだが、それに至るアルゴリズムを数式レベルで確認。
Adam以降の最適化アルゴリズムもあるが、基本はAdamベースでクリッピングが入ってる感じ。
数値計算 【入門】モーメンタム(勾配降下法との差分)【数値計算】
最適化アルゴリズムを通常の勾配降下法からモーメンタムに変えた際の差分を確認。
モーメンタムの方が学習の収束が早い。
勾配降下法で500エポックのところ100エポック。
モーメンタムの場合、初期のパラメータ移動が大き目。
これにより、大域最適化を見つける可能性が高くなる。
数値計算 【入門】モーメンタム(Julia)【数値計算】
最適化アルゴリズム モーメンタムを用いて分類の学習をJuliaで実現。
問題無く動作。
学習の収束が通常の勾配降下法よりも比較的早い。
数値計算 【入門】モーメンタム(Scilab)【数値計算】
最適化アルゴリズム モーメンタムを用いて分類の学習をScilabで実現。
問題無く動作。
学習の収束が通常の勾配降下法よりも比較的早い。
数値計算 【入門】モーメンタム(Python)【数値計算】
最適化アルゴリズム モーメンタムを用いて分類の学習をPythonで実現。
問題無く動作。
学習の収束が通常の勾配降下法よりも比較的早い。
数値計算 【入門】モーメンタム(MATLAB)【数値計算】
最適化アルゴリズム モーメンタムを用いて分類の学習をMATLABで実現。
問題無く動作。
学習の収束が通常の勾配降下法よりも比較的早い。
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その101【モーメンタム⑪】
最適化アルゴリズムを通常の勾配降下法からモーメンタムに変えた際の差分を確認。
モーメンタムの方が学習の収束が早い。
勾配降下法で500エポックのところ100エポック。
モーメンタムの場合、初期のパラメータ移動が大き目。
これにより、大域最適化を見つける可能性が高くなる。
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その100【モーメンタム⑩】
最適化アルゴリズム モーメンタムを用いて分類の学習をJuliaで実現。
問題無く動作。
学習の収束が通常の勾配降下法よりも比較的早い。
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その99【モーメンタム⑨】
最適化アルゴリズム モーメンタムを用いて分類の学習をScilabで実現。
問題無く動作。
学習の収束が通常の勾配降下法よりも比較的早い。