シミュレーションの世界に引きこもる部屋

各最適化アルゴリズムの依存関係を記載。1次の勾配で勢いをつけて、2次の勾配で抑制するというのが全体を通しての共通点。Adamの更新式を実現するためのプログラムフローを記載。学習率は0.001とかなり小さめの値に設定。これにより収束は遅くなる。かわりに特殊な最適解が得られるのでそれを確認する。

AdaDeltaについて説明。RMSpropの拡張版に当たる。最適化アルゴリズムAdamについて説明。モーメンタムとRMSpropの合わせ技。1次の勾配と、2次の勾配の指数移動平均を使用する。

もう一個試す予定の最適化アルゴリズムAdamへ至る系譜を説明予定。AdaGradについて説明。更新式をモーメンタムと比較。RMSpropについて説明。AdaGradの完了版であるため、AdaGradと更新式を比較。

Adamの更新式を実現するためのプログラムフローを記載。モーメンタムの部分をAdamに差し替えただけ。学習率は0.001とかなり小さめの値に設定。これにより収束は遅くなる。かわりに特殊な最適解が得られるのでそれを確認する。

各最適化アルゴリズムの依存関係を記載。1次の勾配で勢いをつけて、2次の勾配で抑制するというのが全体を通しての共通点。Adamが1次の勾配と2次の勾配を合わせたアルゴリズムとなる。

最適化アルゴリズムAdamについて説明。モーメンタムとRMSpropの合わせ技。1次の勾配と、2次の勾配の指数移動平均を使用する。