MATLAB,Python,Scilab,Julia比較 第4章 その108【最適化アルゴリズム⑦】

\(
\begin{eqnarray}
m_{t+1}&=&\beta_1 m_{t-1}+(1-\beta_1)\nabla J(\theta_t)\\
v_{t+1}&=&\beta_2 v_{t-1}+(1-\beta_2)(\nabla J(\theta_t))^2\\
\displaystyle\hat{m}_{t+1}&=&\frac{m_{t+1}}{1-\beta_1}\\
\displaystyle\hat{v}_{t+1}&=&\frac{v_{t+1}}{1-\beta_2}\\
\displaystyle\theta_{t+1}&=&\theta_t-\frac{\alpha}{\sqrt{\hat{v}_{t+1}}+\epsilon}\\
m_t&:&1次のモーメント\\
v_t&:&2次のモーメント\\
\hat{m}_t,\hat{v}_t&:&バイアス補正項\\
\beta_1,\beta_2&:&指数移動平均係数(\beta_1=0.9,\beta_2=0.999)
\end{eqnarray}
\)

• シグモイド関数の定義
• シグモイド関数の導関数の定義
• データの準備
• ネットワークの構築
• 重みとバイアスの初期化
• モーメンタム項の初期化
• 学習(4000エポック)
  • 順伝播
  • 誤差計算(平均二乗誤差)
  • 逆伝播
  • パラメータの更新(Adam)
• 決定境界線の表示