分類問題

連鎖律の「プログラミングするための最適化」は連鎖律上の共通部分の特定が重要。連鎖律の共通部分の算出。共通変数で実際の処理に相当する数式を書き出し。

多層パーセプトロンの重みを決定するための誤差逆伝播法が必要。誤差逆伝播法の全体像を確認。出力層の連鎖律と各偏導関数を導出。隠れ層から誤差関数までの連鎖律を導出。

連鎖律の共通部分の算出。いままでの部品の組み合わせで導出できる。共通変数で実際の処理に相当する数式を書き出し。ついでに学習率を加味した各重み、各バイアスの更新式も記載。

連鎖律の「プログラミングするための最適化」は連鎖律上の共通部分の特定が重要。連鎖律の共通部分を特定。共通部分を変数化。変数化したもので連鎖律を表現し直し。

隠れ層から誤差関数までの合成関数を確認。隠れ層から誤差関数までの連鎖律を導出。

出力層の合成関数を確認。出力層の連鎖律と各偏導関数を導出。多層であるが故に、順伝播時の中間変数を記憶しておく必要がある。

誤差逆伝播法の全体像を確認。更新したい重みとバイアスの層によって連鎖律のルートが少し変わる。出力層と隠れ層の合成関数を確認。