MATLAB,Python,Scilab,Julia比較 第4章 その76【誤差逆伝播法③】

• 誤差逆伝播法の全体像の確認(済)
• 出力層の重みとバイアスを求める誤差からの連鎖律
• 隠れ層の重みとバイアスを求める誤差からの連鎖律
• 上記をプログラミングするための最適化

\(
{\rm{SSE}}(\sigma(g(A_1,W_2)))
\)

\(
\displaystyle\frac{\partial E}{\partial W_2}=\frac{\partial E}{\partial A_2}\frac{\partial A_2}{\partial Z_2}\frac{\partial Z_2}{\partial W_2}
\)

\(
\displaystyle\frac{\partial E}{\partial A_2}=\frac{1}{2}(A_2-Y)^2=A_2=Y
\)

\(
\displaystyle\frac{\partial A_2}{\partial Z_2}=\sigma^\prime(Z_2)
\)

\(
\displaystyle\frac{\partial Z_2}{\partial W_2}=(W_2 A_2 + b_2)^\prime=A_2
\)

\(
\displaystyle\frac{\partial E}{\partial W_2}=(A-Y)\sigma^\prime(Z_2)A_1
\)

\(
\displaystyle\frac{\partial E}{\partial W_2}=(A-Y)\sigma^\prime(Z_2)
\)