シミュレーションの世界に引きこもる部屋

モーメンタムの動作イメージについて確認。動作イメージの表現は難しい。最初は大きく更新して、最適解が近いと小さく更新。勾配降下法で言うところの学習率が可変と同義な動きになる。

モーメンタムの更新式について確認。指数移動平均を利用して直近の値を重視する。実際の指数移動平均とは異なっているので、その点は注意。

勾配降下法の動作イメージを確認。学習率が大きい場合と小さい場合で挙動が変わる。ちょうど良い学習率を人間の手で探す。これにより、一般的なパラメータとは異なるハイパーパラメータというカテゴリになる。

今回改めてまじめに更新式を確認。勾配降下法の更新式が一番シンプルなので今後の最適化アルゴリズムの更新式を見る際は比較対象になりやすい。

最適化アルゴリズムを取り扱う。今回のネットワークだとさほど恩恵はないが知っていて損はない。まずはモーメンタムから解説＆実験をしてい最初は復習を兼ねて勾配降下法についても確認する。