MATLAB,Python,Scilab,Julia比較 第4章 その75【誤差逆伝播法②】

今回は、「誤差逆伝播法の全体像の確認」をする。

そうそう。
まずは全体像を図示しよう。

それは、連鎖律で最終的に微分したパラメータの違いで少しルートが変わるためだな。

出力層の重みへの連鎖律は$W_1$で微分したいのだけど、
隠れ層の重みへの連鎖律で考える場合は$W_1$ではなく隠れ層の出力である$A_1$を経由することになる。
これが多層になった場合の面倒なところだな。

まぁ、慣れてしまえばそういうもんだって程度になるけど。

連鎖律を使用する目的は、各層の重みとバイアスの更新の方向を決めること。
今回の多層パーセプトロンは隠れ層と出力層にそれぞれが存在している。

そうそう。
合成関数で書くと以下になるな。

微分可能な既知の関数の合成関数であれば、連鎖律で微分可能だ。
ってのを知っていれば、めんどくささは感じつつも解けなくはないということはわかる。

そんな感じで克服していくとやれることが増えるってことだな。

まとめだよ。

• 誤差逆伝播法の全体像を確認。
• 更新したい重みとバイアスの層によって連鎖律のルートが少し変わる。
• 出力層と隠れ層の合成関数を確認。