【入門】最適化アルゴリズム②【数値計算】

• AdaGrad(済)
• RMSprop(Root Mean Square Propagation)(済)
• AdaDelta
• Adam(Adaptive Moment Estimation)

\(
\begin{eqnarray}
E[g^2]_t&=&\beta E[g^2]_{t-1}+(1-\beta)(\nabla J(\theta_t))^2\\
\displaystyle\theta_{t+1}&=&\theta_t-\frac{\alpha}{\sqrt{E[g^2]_t+\epsilon}}\\
E[g^2]&:&過去の勾配の2乗の指数移動平均\\
\end{eqnarray}
\)

\(
\begin{eqnarray}
E[g^2]_t&=&\beta E[g^2]_{t-1}+(1-\beta)(\nabla J(\theta_t))^2\\
E[\Delta\theta^2]_t&=&\beta E[\Delta\theta^2]_{t-1}+(1-\beta)(\theta_t)^2\\
\displaystyle\theta_{t+1}&=&\theta_t-\frac{\sqrt{E[\Delta\theta^2]_t+\epsilon}}{\sqrt{E[g^2]_t+\epsilon}}\nabla J(\theta_t)\\
\theta_{t+1}&=&\theta_t+\Delta\theta_t\\
E[g^2]&:&過去の勾配の2乗の指数移動平均\\
E[\Delta\theta^2]_t&:&過去の更新量の2乗の指数移動平均
\end{eqnarray}
\)