数値計算

勾配降下法に概念レベルの説明。勾配降下法をプログラム的に確認する方法としてニューラルネットワークではなく、任意の関数に試す方法がある。勾配降下法プログラムのフローで分かりにくいところを説明。

勾配降下法プログラムのフローで分かりにくいところを説明。入力初期値は学習のスタート地点。ハイパーパラメータは学習アルゴリズムの設定値。グラフへのプロットは履歴付きで。プログラムの振る舞いをアニメーションgifで確認。

勾配降下法をプログラム的に確認する方法としてニューラルネットワークではなく、任意の関数に試す方法がある。三角関数と二次関数を合成したもので試す。プログラムのフローを記載。

勾配降下法に概念レベルの説明。連鎖律含めた一連の流れを誤差逆伝播法と言う。ただし、単純パーセプトロンの段階では逆伝播という言葉にしておく。まずは勾配降下法のみの実験をやってみる。

多変数関数の連鎖律について説明。ニューラルネットワークを想定した場合の多変量関数の連鎖律について説明。ニューラルネットワークの学習を想定した場合、暗黙的に追加される関数として入力群がある。

多変数関数の連鎖律に突入したが、これを理解するのに必要な知識があるため、それらを列挙。合成関数について説明。合計関数の微分(連鎖律)について説明。合成関数の微分(連鎖律)の証明を実施。

ニューラルネットワークの学習を想定した場合、暗黙的に追加される関数として入力群がある。イメージ的に1層増える感じになる。これはバッチ学習、ミニバッチ学習時の起きる現象。と言っても、微分すると重みが消えるので足し算に化ける。

ニューラルネットワークを想定した場合の多変量関数の連鎖律について説明。入力から見た際の関数の伝達ルートが複数になる。変化させたいのは入力ではなく重み。

合成関数の微分(連鎖律)の証明を実施。途中、いろいろトリッキーなことをする。結果としては、中間変数を微分、中間変数での微分の組み合わせで表現しなおせるというもの。