数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その102【最適化アルゴリズム①】 もう一個試す予定の最適化アルゴリズムへ至る系譜を説明予定。プログラム化して試すのはAdamだが、それに至るアルゴリズムを数式レベルで確認。Adam以降の最適化アルゴリズムもあるが、基本はAdamベースでクリッピングが入ってる感じ。 2024.07.01 数値計算
数値計算 【入門】モーメンタム(勾配降下法との差分)【数値計算】 最適化アルゴリズムを通常の勾配降下法からモーメンタムに変えた際の差分を確認。モーメンタムの方が学習の収束が早い。勾配降下法で500エポックのところ100エポック。モーメンタムの場合、初期のパラメータ移動が大き目。これにより、大域最適化を見つける可能性が高くなる。 2024.06.30 数値計算
数値計算 【入門】モーメンタム(Julia)【数値計算】 最適化アルゴリズム モーメンタムを用いて分類の学習をJuliaで実現。問題無く動作。学習の収束が通常の勾配降下法よりも比較的早い。 2024.06.29 数値計算
数値計算 【入門】モーメンタム(Scilab)【数値計算】 最適化アルゴリズム モーメンタムを用いて分類の学習をScilabで実現。問題無く動作。学習の収束が通常の勾配降下法よりも比較的早い。 2024.06.28 数値計算
数値計算 【入門】モーメンタム(Python)【数値計算】 最適化アルゴリズム モーメンタムを用いて分類の学習をPythonで実現。問題無く動作。学習の収束が通常の勾配降下法よりも比較的早い。 2024.06.27 数値計算
数値計算 【入門】モーメンタム(MATLAB)【数値計算】 最適化アルゴリズム モーメンタムを用いて分類の学習をMATLABで実現。問題無く動作。学習の収束が通常の勾配降下法よりも比較的早い。 2024.06.26 数値計算
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その101【モーメンタム⑪】 最適化アルゴリズムを通常の勾配降下法からモーメンタムに変えた際の差分を確認。モーメンタムの方が学習の収束が早い。勾配降下法で500エポックのところ100エポック。モーメンタムの場合、初期のパラメータ移動が大き目。これにより、大域最適化を見つける可能性が高くなる。 2024.06.25 数値計算
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その100【モーメンタム⑩】 最適化アルゴリズム モーメンタムを用いて分類の学習をJuliaで実現。問題無く動作。学習の収束が通常の勾配降下法よりも比較的早い。 2024.06.24 数値計算
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その99【モーメンタム⑨】 最適化アルゴリズム モーメンタムを用いて分類の学習をScilabで実現。問題無く動作。学習の収束が通常の勾配降下法よりも比較的早い。 2024.06.23 数値計算
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その98【モーメンタム⑧】 最適化アルゴリズム モーメンタムを用いて分類の学習をPythonで実現。問題無く動作。学習の収束が通常の勾配降下法よりも比較的早い。 2024.06.22 数値計算