MATLAB,Python,Scilab,Julia比較 第4章 その61【逆伝播⑫】

バックナンバーはこちら。
https://www.simulationroom999.com/blog/compare-matlabpythonscilabjulia4-backnumber/

はじめに
登場人物
【再掲】プログラム化する数式
MATLABコード
処理結果
まとめ

はじめに

単純パーセプトロンに対する逆伝播を行う。
まずは逆伝播を行った際の重みの動き方を確認するプログラムを作成する。
今回はMATLABでこれを実現する。

登場人物

博識フクロウのフクさん

イラストACにて公開の「kino_k」さんのイラストを使用しています。
https://www.ac-illust.com/main/profile.php?id=iKciwKA9&area=1

エンジニア歴8年の太郎くん

イラストACにて公開の「しのみ」さんのイラストを使用しています。
https://www.ac-illust.com/main/profile.php?id=uCKphAW2&area=1

【再掲】プログラム化する数式

太郎くん

まずは、今回プログラム化する数式を再掲。

\(
\begin{eqnarray}
\displaystyle\frac{\partial E}{\partial W}&=&(A-Y)\cdot\sigma(Z)\{1-\sigma(Z)\}\cdot X\\
&=&\sum \Bigg\{\Bigg(\begin{bmatrix}a_1\\a_2\\a_3\\a_4\end{bmatrix}-\begin{bmatrix}0\\0\\0\\1\end{bmatrix}\Bigg)\Bigg\}\circ
\sigma\Bigg(\begin{bmatrix}z_1\\z_2\\z_3\\z_4\end{bmatrix}\Bigg)
\Bigg\{1-\sigma\Bigg(\begin{bmatrix}z_1\\z_2\\z_3\\z_4\end{bmatrix}\Bigg)\Bigg\}
\begin{bmatrix}1&1\end{bmatrix}
\begin{bmatrix}0&0\\0&1\\1&0\\1&1\end{bmatrix}
\end{eqnarray}
\)

フクさん

これをMATLABで実現する。
重みはそれぞれ2.7近辺に収束すればOKだ。

MATLABコード

フクさん

以下がMATLABコード。

% シグモイド関数の定義
sigmoid = @(x) 1./(1 + exp(-x));

% シグモイド関数の導関数の定義
sigmoid_derivative = @(x) sigmoid(x).*(1 - sigmoid(x));

% データセットの定義
X = [0 0; 0 1; 1 0; 1 1];
Y = [0; 0; 0; 1];
W=[1.0,6.0];
b=-4.0;

N=200; % ループ回数
aW = zeros(N,2); % 重み記録用バッファ

for i = 1:N
  % 順伝播
  Z = X * W' + b;
  A = sigmoid(Z);

  % 逆伝播
  dW = sum((A - Y) .* sigmoid_derivative(Z)*ones(1,2) .*X);

  % パラメータの更新
  W = W - dW;
  aW(i,:) = W; % 重みを記憶
end

plot(aW); % 重みの変化の経緯をplot
lgd = legend('w_1', 'w_2');
grid;
fprintf('W=');
disp(W);  % 最終的な重み