【入門】最適化アルゴリズム②【数値計算】

Adam
まとめ

Adam

やっと本命のAdamに到達。
今まで説明した中で一番ややこしいものとなる。

AdamはモーメンタムとRMSpropの合わせ技のような最適化アルゴリズム。
というわけで、モーメンタム、RMSprop、Adamの更新式を併記する。

モーメンタム

\(
\begin{eqnarray}
v_{t+1}&=&\beta v_t+\alpha\nabla J(\theta_t)\\
\theta_{t+1}&=&\theta_t-\alpha v_{t+1}
\end{eqnarray}
\)

RMSprop

\(
\begin{eqnarray}
E[g^2]_t&=&\beta E[g^2]_{t-1}+(1-\beta)(\nabla J(\theta_t))^2\\
\displaystyle\theta_{t+1}&=&\theta_t-\frac{\alpha}{\sqrt{E[g^2]_t+\epsilon}}\\
E[g^2]&:&過去の勾配の2乗の指数移動平均\\
\end{eqnarray}
\)

Adam

\(
\begin{eqnarray}
m_{t+1}&=&\beta_1 m_{t-1}+(1-\beta_1)\nabla J(\theta_t)\\
v_{t+1}&=&\beta_2 v_{t-1}+(1-\beta_2)(\nabla J(\theta_t))^2\\
\displaystyle\hat{m}_{t+1}&=&\frac{m_{t+1}}{1-\beta_1}\\
\displaystyle\hat{v}_{t+1}&=&\frac{v_{t+1}}{1-\beta_2}\\
\displaystyle\theta_{t+1}&=&\theta_t-\frac{\alpha}{\sqrt{\hat{v}_{t+1}}+\epsilon}\\
m_t&:&1次のモーメント\\
v_t&:&2次のモーメント\\
\hat{m}_t,\hat{v}_t&:&バイアス補正項\\
\beta_1,\beta_2&:&指数移動平均係数(\beta_1=0.9,\beta_2=0.999)
\end{eqnarray}
\)

当然ながらAdamが一番ヤベェ・・・。

やってることはシンプルではある。
勾配の1次と2次の指数移動平均を算出。
1次はモーメンタムのように過去の勢いを乗せる。
2次はRMSpropのように現在及び近い過去の勾配の大きさが更新の抑制になる。
この2つのバランスの間で更新をする。

勢いを乗せるものと抑制するものが同居している感じになる。

ただ、Adamが効果を発揮するのは、ネットワークが複雑になり、
オンライン学習やミニバッチ学習のように学習データを確率的に利用する場合になる。
よって、今回試そうとしているネットワークに対してはこれと言った効果は見れない可能性が高い。

とりあえず、モーメンタムとRMSpropの合わせ技でAdamって思っておけばOK。