誤差逆伝播法

数値計算

【入門】逆伝播③【数値計算】

全体の位置づけと各偏導関数を確認。 入力、出力(ラベル)が複数であるが故に連鎖律のルートが複数になる。 入力、出力が複数であるが故の連鎖律の事情のもう一つの考え方。 逆伝播の確認用プログラムのフローを記載。
数値計算

【入門】逆伝播②【数値計算】

連鎖律に於ける誤差関数の位置づけと偏導関数を確認。 活性関数(シグモイド関数)のブロック図と連鎖律上の位置づけと偏導関数を確認。 入力層のブロック図と連鎖律上の位置づけと偏導関数を確認。 バイアスのブロック図と連鎖律上の位置づけと偏導関数を確認。
数値計算

【入門】逆伝播①【数値計算】

誤差逆伝播法とか単純パーセプトロンに関連する用語を確認。 逆伝播を行う単純パーセプトロンの構成を確認。 一連の合成関数について書き出し。 合成関数を構成する各数式を書き出し。 合成関数の微分こと連鎖律について説明。 学習データを加味した場合の多変量関数の連鎖律について簡単に説明。
数値計算

MATLAB,Python,Scilab,Julia比較 第4章 その60【逆伝播⑪】

逆伝播の確認用プログラムのフローを記載。 逆伝播の挙動を確認するため、重みの開始位置とバイアスは固定。 ベクトル、行列演算をプログラム都合に合わせて表現しなおし。
数値計算

MATLAB,Python,Scilab,Julia比較 第4章 その59【逆伝播⑩】

入力、出力が複数であるが故の連鎖律の事情のもう一つの考え方。 誤差関数は二乗和誤差関数であり、本来であればΣが含まれる。 よって、連鎖律にもΣが含まれる形を取ると前回と同一の数式が得られる。
数値計算

MATLAB,Python,Scilab,Julia比較 第4章 その58【逆伝播⑨】

入力、出力(ラベル)が複数であるが故に連鎖律のルートが複数になる。 上記の図示と数式を説明。
数値計算

MATLAB,Python,Scilab,Julia比較 第4章 その57【逆伝播⑧】

全体の位置づけ確認。 各偏導関数を再掲。 各偏導関数を連鎖律に則して結合。
数値計算

MATLAB,Python,Scilab,Julia比較 第4章 その56【逆伝播⑦】

バイアスのブロック図と連鎖律上の位置づけを確認。 バイアスの偏導関数を確認。 もとの式がシンプルな上、1次で係数もないので1になる。
数値計算

MATLAB,Python,Scilab,Julia比較 第4章 その55【逆伝播⑥】

入力層のブロック図と連鎖律上の位置づけを確認。 入力層の偏導関数を確認。 もとの式がシンプルなので偏導関数もシンプル。
数値計算

MATLAB,Python,Scilab,Julia比較 第4章 その54【逆伝播⑤】

活性化関数の微分について説明。 活性関数のブロック図と連鎖律上の位置づけを確認。 シグモイド関数の導関数を復習。 シグモイド関数の偏導関数を確認。