バックナンバーはこちら。
https://www.simulationroom999.com/blog/compare-matlabpythonscilabjulia4-backnumber/
はじめに
単純パーセプトロンに対する逆伝播についての話。
プログラム化に向けての話になる。
登場人物
博識フクロウのフクさん
イラストACにて公開の「kino_k」さんのイラストを使用しています。
https://www.ac-illust.com/main/profile.php?id=iKciwKA9&area=1
エンジニア歴8年の太郎くん
イラストACにて公開の「しのみ」さんのイラストを使用しています。
https://www.ac-illust.com/main/profile.php?id=uCKphAW2&area=1
今後の予定
とりあえず、連鎖律の話がハッキリして、逆伝播に関連する情報はそろった感じかな。
というわけでプログラム化の話に入る。
でも、いきなりプログラムを組めと言われてもわからんな・・・。
それに、逆伝播は実際の動きが見えにくい。
よって、まずは逆伝播の挙動を見ることに特化したプログラムを作成する。
魔境臭がするが、1歩ずつやってもらった方が良いのかもしれん・・・。
プログラムのフロー
というわけで、プログラムのフローを記載しておく。
- シグモイド関数の定義
- シグモイド関数の導関数の定義
- データセットの定義
- 順伝播
- 逆伝播
- パラメータの更新
- 重みの変化の経緯をplot
逆伝播の前に順伝播ってのが必要なのか。
で、順伝播って何？
普通に入力して出力を見るだけ。
実際は、この出力と正解値であるラベルとの差を元に誤差\(E\)が確定する。
そうか。
連鎖律としては誤差\(E\)が必要だから、
順伝播という普通の処理を一回実施するのか。
ちなみに「順伝播」から「パラメータ更新」までの3つのプロセスは複数回ループさせる。
今回は200回くらいで良いだろう。
これにより、徐々に分類の決定境界を定める重みが更新される。
予測される適正値は？
ちなみに、重みはどういった値になっていればOKな感じ？
以前のシグモイド関数を形式ニューロンの活性化関数とし、
総当たり法で求めたときは、重み\(w_1,w_2\)ともに\(2.70\)、
バイアス\(b\)は\(-4.0\)だったな。
じゃー、それになればOKってことかな。
バイアスの兼ね合いがあると、別の解に収束する可能性もあるから、
今回は、バイアス\(b\)を-4.0に固定し、
重みは\(w_1=1.0,w_2=6.0\)の状態で学習させてみる予定だ。
まぁ、見るパラメータは2つくらいに絞ってあった方が分かり易そうだし、
学習開始時の値も統一しておかないと、環境の差で結果が変わりそうだもんね。
ベクトル、行列演算を加味した場合の注意点
演算する場合、ベクトル、行列の都合がいれいろ出てくる。
ここでは、プログラム化する際の数式を記載しておく。
\(
\begin{eqnarray}
\displaystyle\frac{\partial E}{\partial W}&=&(A-Y)\cdot\sigma(Z)\{1-\sigma(Z)\}\cdot X\\
&=&\sum \Bigg\{\Bigg(\begin{bmatrix}a_1\\a_2\\a_3\\a_4\end{bmatrix}-\begin{bmatrix}0\\0\\0\\1\end{bmatrix}\Bigg)\Bigg\}\circ
\sigma\Bigg(\begin{bmatrix}z_1\\z_2\\z_3\\z_4\end{bmatrix}\Bigg)
\Bigg\{1-\sigma\Bigg(\begin{bmatrix}z_1\\z_2\\z_3\\z_4\end{bmatrix}\Bigg)\Bigg\}
\begin{bmatrix}1&1\end{bmatrix}
\begin{bmatrix}0&0\\0&1\\1&0\\1&1\end{bmatrix}
\end{eqnarray}
\)
途中の\(\begin{bmatrix}1&1\end{bmatrix}\)はなんだ？
入力\(X\)が2入力であり、その結果、入力が4×2行列になるんだよね。
特に2列であることが重要で、
その2列に合わせこむために\(\begin{bmatrix}1&1\end{bmatrix}\)と直積を取って、ベクトルから行列にしている。
その上でアダマール積を実施。
これをやらなくてもブロードキャストという機能で演算として通ってしまうこともあるようだが、
念のため合わせこみをしている感じだな。
言ってることは1ミリもわからんけど、
とりあえず、次元の合わせこみをしているって雰囲気だけは察した。
まぁ、ここではその程度の認識でOKかな・・・。
まとめ
まとめだよ。
- 逆伝播の確認用プログラムのフローを記載。
- 逆伝播の挙動を確認するため、重みの開始位置とバイアスは固定。
- ベクトル、行列演算をプログラム都合に合わせて表現しなおし。
バックナンバーはこちら。
Pythonで動かして学ぶ！あたらしい線形代数の教科書
ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装
ゼロからはじめるPID制御
OpenCVによる画像処理入門
恋する統計学[回帰分析入門(多変量解析1)] 恋する統計学[記述統計入門]
Pythonによる制御工学入門
理工系のための数学入門 ―微分方程式・ラプラス変換・フーリエ解析
コメント