KEI

逆伝播の確認用プログラムのフローを記載。逆伝播の挙動を確認するため、重みの開始位置とバイアスは固定。ベクトル、行列演算をプログラム都合に合わせて表現しなおし。

入力、出力が複数であるが故の連鎖律の事情のもう一つの考え方。誤差関数は二乗和誤差関数であり、本来であればΣが含まれる。よって、連鎖律にもΣが含まれる形を取ると前回と同一の数式が得られる。

入力、出力(ラベル)が複数であるが故に連鎖律のルートが複数になる。上記の図示と数式を説明。

全体の位置づけ確認。各偏導関数を再掲。各偏導関数を連鎖律に則して結合。

バイアスのブロック図と連鎖律上の位置づけを確認。バイアスの偏導関数を確認。もとの式がシンプルな上、1次で係数もないので1になる。

入力層のブロック図と連鎖律上の位置づけを確認。入力層の偏導関数を確認。もとの式がシンプルなので偏導関数もシンプル。

活性化関数の微分について説明。活性関数のブロック図と連鎖律上の位置づけを確認。シグモイド関数の導関数を復習。シグモイド関数の偏導関数を確認。

連鎖律に於ける誤差関数の位置づけを確認。ブロック図的には一番後ろだが、連鎖律としては先頭。誤差関数の確認。誤差関数の偏導関数の確認。

合成関数の微分こと連鎖律について説明。学習データを加味した場合の多変量関数の連鎖律について簡単に説明。詳細は後日。

一連の合成関数について書き出し。合成関数を構成する各数式を書き出し。誤差関数、活性化関数、入力と重みの内積。