数値計算 【入門】最適化アルゴリズム(MATLAB)【数値計算】
ニューラルネットワークの最適化アルゴリズムAdamをMATLABにて確認。
学習率を0.001にしている都合、収束までは時間がかかる。
勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。
数値計算
数値計算 
数値計算 MATLAB,Python,Scilab,Julia比較 第4章【バックナンバー】
はじめにMATLAB,Python,Scilab,Julia比較するシリーズの第4章。第3章では画像処理、座標変換の話がメインだった。第4章は分類問題関連の話がメインとなる。基本的には以下の流れとなる。形式ニューロン決定境界線の安定化単純パ...
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その114【本章のまとめ】
分類問題を扱って第4章終了。
最も原始的なニューラルネットワークをやったことでディープラーニングの基礎部分は把握できたかもしれない。
次の章はこれから考える。
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その113【最適化アルゴリズム⑫】
Adamだけで出てくる分類結果を確認。
四角形で分類する理想的な形状。
この分類結果になる場合は、誤差関数の値が一気に跳ね上がる時。
これにより大域最適解を引き当てやすくなる。
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その112【最適化アルゴリズム⑪】
ニューラルネットワークの最適化アルゴリズムAdamをJuliaにて確認。
学習率を0.001にしている都合、収束までは時間がかかる。
勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その111【最適化アルゴリズム⑩】
ニューラルネットワークの最適化アルゴリズムAdamをScilabにて確認。
学習率を0.001にしている都合、収束までは時間がかかる。
勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その110【最適化アルゴリズム⑨】
ニューラルネットワークの最適化アルゴリズムAdamをPythonにて確認。
学習率を0.001にしている都合、収束までは時間がかかる。
勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その109【最適化アルゴリズム⑧】
ニューラルネットワークの最適化アルゴリズムAdamをMATLABにて確認。
学習率を0.001にしている都合、収束までは時間がかかる。
勾配降下法、モーメンタムでは見れなかった分類パターンが拾えた。
数値計算 【入門】最適化アルゴリズム③【数値計算】
各最適化アルゴリズムの依存関係を記載。
1次の勾配で勢いをつけて、2次の勾配で抑制するというのが全体を通しての共通点。
Adamの更新式を実現するためのプログラムフローを記載。
学習率は0.001とかなり小さめの値に設定。
これにより収束は遅くなる。
かわりに特殊な最適解が得られるのでそれを確認する。
数値計算 【入門】最適化アルゴリズム②【数値計算】
AdaDeltaについて説明。
RMSpropの拡張版に当たる。
最適化アルゴリズムAdamについて説明。
モーメンタムとRMSpropの合わせ技。
1次の勾配と、2次の勾配の指数移動平均を使用する。