MATLAB,Python,Scilab,Julia比較 第4章 その45【勾配降下法③】

「入力初期値設定」「ハイパーパラメータの設定」「グラフへのプロット」について掘り下げる

まずは、入力初期値設定だが、
これは単純に2.9にしておこう。
前回みせたグラフをベースにするとこの位置を入力初期値とする。

次はパイパーパラメータ。

モデルが学習する上での設定値だと思えばOKだ。
最適化アルゴリズム毎に変わるところではあるな。

今回に於けるハイパーパラメータは以下

グラフへのプロットだが、
学習の経緯も見れた方が良い。
というわけで、学習過程の入力の軌跡や誤差の動きを記録する。
まぁ、勾配降下法を実施する際にfor分で回すことになるから、
それぞれの変数を配列として保存して、あとでグラフで表示するって感じだな。
具体的な実装は、これから作るソースコードを見てもらった方が良いだろう。

で、実際のプログラムの振る舞いを事前に出しておこう。
分かり易いようにアニメーションgifにしてある。

こういう状況を「局所最適解に陥る」と言ったりする。
最適解は共に誤差関数の極小値ではあるのだが、最小値ではない。
最小値ではない極小値が局所最適解。
最小値な極小値が大域最適解。
って呼ばれている。

それ以外にも様々な問題はあるのだが、
直近で我々がぶち当たる問題はこれだな。

まとめだよ。

• 勾配降下法プログラムのフローで分かりにくいところを説明。
• 入力初期値は学習のスタート地点。
• ハイパーパラメータは学習アルゴリズムの設定値。
• グラフへのプロットは履歴付きで。
• プログラムの振る舞いをアニメーションgifで確認。