【入門】逆伝播①【数値計算】

一連の合成関数
各関数
合成関数の微分こと連鎖律について
学習データを加味すると
まとめ

一連の合成関数

先ほどの構成をブロック図として書き出したのが以下になる。

注意点としては、
入力が\(X\)ではなく重み\(W\)。

これは、調整したいのが入力ではなく重みであるため。
だから、単純パーセプトロンの学習における入力は重みと見なしてる感じになる。

そして、さきほどの合成関数を数式で表現するとこうなる。

合成関数

\(E=SSE(\sigma(f(W)))\)

各関数

そして、各関数を書き出す。

誤差関数

\(
\displaystyle E=\frac{1}{2}\sum_{i=1}^n(A-Y)^2
\)

活性化関数

\(
A=\sigma(X)
\)

入力と重みの内積

\(
Z=f(W)=
\begin{bmatrix}
w_1&w_2&b
\end{bmatrix}
\begin{bmatrix}
x_1\\
x_2\\
1
\end{bmatrix}
\)

この関数の合成がさっきの合成関数ってことになる。
あとは、合成関数の微分こと連鎖律を考えていくことになる。

合成関数の微分こと連鎖律について

先ほどの関数の合成関数を元に連鎖律を定義できる。
以下の数式になる。

\(
\displaystyle \frac{\partial E}{\partial W}=\frac{\partial E}{\partial A}\frac{\partial A}{\partial Z}\frac{\partial Z}{\partial W}
\)

学習データを加味すると

そして、詳細は後ほど説明するが、
学習データを加味すると、\(f(W)\)は暗黙的に4種類になる、
結果的には以下の「多変量関数の連鎖律」になる。

\(
\displaystyle \frac{\partial E}{\partial w_1}=\frac{\partial E}{\partial a_1}\frac{\partial a_1}{\partial z_1}\frac{\partial z_1}{\partial w_1}+\frac{\partial E}{\partial a_2}\frac{\partial a_2}{\partial z_2}\frac{\partial z_2}{\partial w_1}+\frac{\partial E}{\partial a_3}\frac{\partial a_3}{\partial z_3}\frac{\partial z_3}{\partial w_1}+\frac{\partial E}{\partial a_4}\frac{\partial a_4}{\partial z_4}\frac{\partial z_4}{\partial w_1}
\)

\(
\displaystyle \frac{\partial E}{\partial w_2}=\frac{\partial E}{\partial a_1}\frac{\partial a_1}{\partial z_1}\frac{\partial z_1}{\partial w_2}+\frac{\partial E}{\partial a_2}\frac{\partial a_2}{\partial z_2}\frac{\partial z_2}{\partial w_2}+\frac{\partial E}{\partial a_3}\frac{\partial a_3}{\partial z_3}\frac{\partial z_3}{\partial w_2}+\frac{\partial E}{\partial a_4}\frac{\partial a_4}{\partial z_4}\frac{\partial z_4}{\partial w_2}
\)

一見するとすごいことになっているように見える。