【入門】逆伝播(Scilab)【数値計算】

【入門】逆伝播(Scilab)【数値計算】 数値計算
【入門】逆伝播(Scilab)【数値計算】

MATLAB、Python、Scilab、Julia比較ページはこちら
https://www.simulationroom999.com/blog/comparison-of-matlab-python-scilab/

【入門】MATLAB,Python,Scilab,Julia使い方比較【数値計算プログラム】
MATLAB,Python,Scilab,Juliaを比較。基本的な計算、ベクトル行列演算、グラフ(波形)表示、伝達関数、画像取り込み、最小二乗法を元に比較しています。それぞれツールの特性が理解できれば使い分けも移行も難しくは無いでしょう。似ている部分も多いので私の場合はそれを利用するして実験の幅を広げています。
www.simulationroom999.com
2020.04.12

はじめに

MATLAB,Python,Scilab,Julia比較 第4章【バックナンバー】
はじめにMATLAB,Python,Scilab,Julia比較するシリーズの第4章。第3章では画像処理、座標変換の話がメインだった。第4章は分類問題関連の話がメインとなる。基本的には以下の流れとなる。形式ニューロン決定境界線の安定化単純パ...
www.simulationroom999.com
2024.07.16

の、

MATLAB,Python,Scilab,Julia比較 第4章 その63【逆伝播⑭】

を書き直したもの。

単純パーセプトロンに対する逆伝播を行う。
まずは逆伝播を行った際の重みの動き方を確認するプログラムを作成する。
今回はScilabでこれを実現する。

【再掲】プログラム化する数式

まずは、今回プログラム化する数式を再掲。

∂E∂W=(A−Y)⋅σ(Z){1−σ(Z)}⋅X=∑{([a1a2a3a4]−[0001])}∘σ([z1z2z3z4]){1−σ([z1z2z3z4])}[11][00011011]

これをScilabで実現する。
重みはそれぞれ2.7近辺に収束すればOK。

Scilabコード

以下がScilabコード。

// シグモイド関数の定義
function y = sigmoid(x)
    y = 1./(1 + exp(-x));
endfunction

// シグモイド関数の導関数の定義
function y = sigmoid_derivative(x)
    y = sigmoid(x).*(1 - sigmoid(x));
endfunction

// データセットの定義
X = [0 0; 0 1; 1 0; 1 1];
Y = [0; 0; 0; 1];
W = [1.0,6.0];
b = -4.0;

N = 200; // ループ回数
aW = zeros(N, 2); // 重み記録用バッファ

for i = 1:N
    // 順伝播
    Z = X * W' + b;
    A = sigmoid(Z);

    // 逆伝播
    dW = sum((A - Y) .* sigmoid_derivative(Z)*ones(1,2).*X,1);

    // パラメータの更新
    W = W - dW;
    aW(i, :) = W'; // 重みを記憶
end

plot(aW); // 重みの変化の経緯をplot
legend('w_1', 'w_2');
xgrid;

printf("W =");
disp(W); // 最終的な重み

処理結果

処理結果は以下。

逆伝播で重みの変化(Scilab)
W =
   2.6664366   2.6668967

まとめ

  • 逆伝播を行った際の重みの動き方を確認するプログラムをScilabで作成。
  • おおよそ狙ったところに収束。

MATLAB、Python、Scilab、Julia比較ページはこちら

【入門】MATLAB,Python,Scilab,Julia使い方比較【数値計算プログラム】
MATLAB,Python,Scilab,Juliaを比較。基本的な計算、ベクトル行列演算、グラフ(波形)表示、伝達関数、画像取り込み、最小二乗法を元に比較しています。それぞれツールの特性が理解できれば使い分けも移行も難しくは無いでしょう。似ている部分も多いので私の場合はそれを利用するして実験の幅を広げています。
www.simulationroom999.com
2020.04.12

Pythonで動かして学ぶ！あたらしい線形代数の教科書

Amazon.co.jp: Pythonで動かして学ぶ！あたらしい線形代数の教科書 eBook : かくあき: Kindleストア
Amazon.co.jp: Pythonで動かして学ぶ！あたらしい線形代数の教科書 eBook : かくあき: Kindleストア
amzn.to

ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装

ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 | 斎藤 康毅 |本 | 通販 | Amazon
Amazonで斎藤 康毅のゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装。アマゾンならポイント還元本が多数。斎藤 康毅作品ほか、お急ぎ便対象商品は当日お届けも可能。またゼロから作るDeep Lea...
amzn.to

ゼロからはじめるPID制御

ゼロからはじめるPID制御 | 熊谷 英樹 |本 | 通販 | Amazon
Amazonで熊谷 英樹のゼロからはじめるPID制御。アマゾンならポイント還元本が多数。熊谷 英樹作品ほか、お急ぎ便対象商品は当日お届けも可能。またゼロからはじめるPID制御もアマゾン配送商品なら通常配送無料。
amzn.to

OpenCVによる画像処理入門

OpenCVによる画像処理入門 改訂第3版 (KS情報科学専門書) | 小枝 正直, 上田 悦子, 中村 恭之 |本 | 通販 | Amazon
Amazonで小枝 正直, 上田 悦子, 中村 恭之のOpenCVによる画像処理入門 改訂第3版 (KS情報科学専門書)。アマゾンならポイント還元本が多数。小枝 正直, 上田 悦子, 中村 恭之作品ほか、お急ぎ便対象商品は当日お届けも可能。...
amzn.to

恋する統計学[回帰分析入門(多変量解析1)] 恋する統計学[記述統計入門]

恋する統計学[回帰分析入門(多変量解析1)] 恋する統計学[記述統計入門] | 金城俊哉 | 数学 | Kindleストア | Amazon
Amazonで金城俊哉の恋する統計学 恋する統計学。アマゾンならポイント還元本が多数。一度購入いただいた電子書籍は、KindleおよびFire端末、スマートフォンやタブレットなど、様々な端末でもお楽しみいただけます。
amzn.to

Pythonによる制御工学入門

Amazon.co.jp
amzn.to

理工系のための数学入門 ―微分方程式・ラプラス変換・フーリエ解析

Amazon.co.jp
amzn.to

コメント

タイトルとURLをコピーしました