MATLAB,Python,Scilab,Julia比較 第4章 その77【誤差逆伝播法④】

• 誤差逆伝播法の全体像の確認(済)
• 出力層の重みとバイアスを求める誤差からの連鎖律(済)
• 隠れ層の重みとバイアスを求める誤差からの連鎖律
• 上記をプログラミングするための最適化

\(
{\rm{SSE}}(\sigma(g(\sigma(h(X,W_1)),W_2)))
\)

\(
\displaystyle\frac{\partial E}{\partial W_2}=\frac{\partial E}{\partial A_2}\frac{\partial A_2}{\partial Z_2}\frac{\partial Z_2}{\partial A_1}\frac{\partial A_1}{\partial Z_1}\frac{\partial Z_1}{\partial W_1}
\)

\(
\displaystyle\frac{\partial E}{\partial A_2}=\frac{1}{2}(A_2-Y)^2=A_2=Y
\)

\(
\displaystyle\frac{\partial A_2}{\partial Z_2}=\sigma^\prime(Z_2)
\)

\(
\displaystyle\frac{\partial Z_2}{\partial A_1}=(W_2 A_1 + b_2)^\prime=W_2
\)

\(
\displaystyle\frac{\partial A_1}{\partial Z_1}=\sigma^\prime(Z_1)
\)

\(
\displaystyle\frac{\partial Z_1}{\partial W_1}=(W_1X+b_1)^\prime=X
\)

\(
\displaystyle\frac{\partial E}{\partial W_2}=(A-Y)\sigma^\prime(Z_2)W_2\sigma^\prime(Z_1)X
\)

\(
\displaystyle\frac{\partial E}{\partial b_2}=(A-Y)\sigma^\prime(Z_2)W_2\sigma^\prime(Z_1)
\)