誤差逆伝播法

数値計算

MATLAB,Python,Scilab,Julia比較 第4章 その47【勾配降下法⑤】

勾配降下法の実験をPythonで実施。 予想通り局所最適解に陥った。 局所最適解の回避方法としては学習率を状況に応じて変更する様々は最適化アルゴリズムがある。 モーメンタム、AdaGrad、Adamなどなど。
数値計算

MATLAB,Python,Scilab,Julia比較 第4章 その46【勾配降下法④】

勾配降下法の実験をMATLABで実施。 予想通り局所最適解に陥った。 局所最適解の回避方法としては学習率を状況に応じて変更する様々は最適化アルゴリズムがある。 モーメンタム、AdaGrad、Adamなどなど。
数値計算

【入門】勾配降下法【数値計算】

勾配降下法に概念レベルの説明。 勾配降下法をプログラム的に確認する方法としてニューラルネットワークではなく、任意の関数に試す方法がある。 勾配降下法プログラムのフローで分かりにくいところを説明。
数値計算

MATLAB,Python,Scilab,Julia比較 第4章 その45【勾配降下法③】

勾配降下法プログラムのフローで分かりにくいところを説明。 入力初期値は学習のスタート地点。 ハイパーパラメータは学習アルゴリズムの設定値。 グラフへのプロットは履歴付きで。 プログラムの振る舞いをアニメーションgifで確認。
数値計算

MATLAB,Python,Scilab,Julia比較 第4章 その44【勾配降下法②】

勾配降下法をプログラム的に確認する方法としてニューラルネットワークではなく、任意の関数に試す方法がある。 三角関数と二次関数を合成したもので試す。 プログラムのフローを記載。
数値計算

MATLAB,Python,Scilab,Julia比較 第4章 その43【勾配降下法①】

勾配降下法に概念レベルの説明。 連鎖律含めた一連の流れを誤差逆伝播法と言う。 ただし、単純パーセプトロンの段階では逆伝播という言葉にしておく。 まずは勾配降下法のみの実験をやってみる。
数値計算

【入門】多変量関数の連鎖律②【数値計算】

多変数関数の連鎖律について説明。 ニューラルネットワークを想定した場合の多変量関数の連鎖律について説明。 ニューラルネットワークの学習を想定した場合、暗黙的に追加される関数として入力群がある。
数値計算

【入門】多変量関数の連鎖律①【数値計算】

多変数関数の連鎖律に突入したが、これを理解するのに必要な知識があるため、それらを列挙。 合成関数について説明。 合計関数の微分(連鎖律)について説明。 合成関数の微分(連鎖律)の証明を実施。
数値計算

MATLAB,Python,Scilab,Julia比較 第4章 その42【多変量関数の連鎖律⑥】

ニューラルネットワークの学習を想定した場合、暗黙的に追加される関数として入力群がある。 イメージ的に1層増える感じになる。 これはバッチ学習、ミニバッチ学習時の起きる現象。 と言っても、微分すると重みが消えるので足し算に化ける。
数値計算

MATLAB,Python,Scilab,Julia比較 第4章 その41【多変量関数の連鎖律⑤】

ニューラルネットワークを想定した場合の多変量関数の連鎖律について説明。 入力から見た際の関数の伝達ルートが複数になる。 変化させたいのは入力ではなく重み。