最適化アルゴリズム

各最適化アルゴリズムの依存関係を記載。1次の勾配で勢いをつけて、2次の勾配で抑制するというのが全体を通しての共通点。Adamの更新式を実現するためのプログラムフローを記載。学習率は0.001とかなり小さめの値に設定。これにより収束は遅くなる。かわりに特殊な最適解が得られるのでそれを確認する。

AdaDeltaについて説明。RMSpropの拡張版に当たる。最適化アルゴリズムAdamについて説明。モーメンタムとRMSpropの合わせ技。1次の勾配と、2次の勾配の指数移動平均を使用する。

もう一個試す予定の最適化アルゴリズムAdamへ至る系譜を説明予定。AdaGradについて説明。更新式をモーメンタムと比較。RMSpropについて説明。AdaGradの完了版であるため、AdaGradと更新式を比較。

Adamの更新式を実現するためのプログラムフローを記載。モーメンタムの部分をAdamに差し替えただけ。学習率は0.001とかなり小さめの値に設定。これにより収束は遅くなる。かわりに特殊な最適解が得られるのでそれを確認する。

各最適化アルゴリズムの依存関係を記載。1次の勾配で勢いをつけて、2次の勾配で抑制するというのが全体を通しての共通点。Adamが1次の勾配と2次の勾配を合わせたアルゴリズムとなる。

最適化アルゴリズムAdamについて説明。モーメンタムとRMSpropの合わせ技。1次の勾配と、2次の勾配の指数移動平均を使用する。

AdaDeltaについて説明。RMSpropの拡張版に当たる。学習率というハイパーパラメータ無しで動作する。最終的な学習率は1近傍になるため振動しやすいらしい。

RMSpropについて説明。AdaGradの完了版であるため、AdaGradと更新式を比較。AdaGradでは2次の勾配の累積だったものが、2次の勾配の指数移動平均に。これにより、極小値近辺やプラトーになっても更新を続けられる。

AdaGradについて説明。更新式をモーメンタムと比較。更新幅は、最初は大きく、徐々に小さくなり、最終的には学習が進まなくなる欠点を抱えている。

もう一個試す予定の最適化アルゴリズムへ至る系譜を説明予定。プログラム化して試すのはAdamだが、それに至るアルゴリズムを数式レベルで確認。Adam以降の最適化アルゴリズムもあるが、基本はAdamベースでクリッピングが入ってる感じ。