誤差逆伝播法

連鎖律の「プログラミングするための最適化」は連鎖律上の共通部分の特定が重要。 連鎖律の共通部分の算出。 共通変数で実際の処理に相当する数式を書き出し。

多層パーセプトロンの重みを決定するための誤差逆伝播法が必要。 誤差逆伝播法の全体像を確認。 出力層の連鎖律と各偏導関数を導出。 隠れ層から誤差関数までの連鎖律を導出。

連鎖律の共通部分の算出。 いままでの部品の組み合わせで導出できる。 共通変数で実際の処理に相当する数式を書き出し。 ついでに学習率を加味した各重み、各バイアスの更新式も記載。

連鎖律の「プログラミングするための最適化」は連鎖律上の共通部分の特定が重要。 連鎖律の共通部分を特定。 共通部分を変数化。 変数化したもので連鎖律を表現し直し。

隠れ層から誤差関数までの合成関数を確認。 隠れ層から誤差関数までの連鎖律を導出。

出力層の合成関数を確認。 出力層の連鎖律と各偏導関数を導出。 多層であるが故に、順伝播時の中間変数を記憶しておく必要がある。

誤差逆伝播法の全体像を確認。 更新したい重みとバイアスの層によって連鎖律のルートが少し変わる。 出力層と隠れ層の合成関数を確認。

多層パーセプトロンの重みを決定するための誤差逆伝播法が必要。 多層に渡っているため、少しメンドウクサイ。 各層の連鎖律を求め、その後結合させたり、プログラミング向けに最適化したりしていく予定。