MATLAB,Python,Scilab,Julia比較 第4章 その74【誤差逆伝播法①】

そして、ちゃんと分類するためには学習が必要。

そこで出てくるのが誤差逆伝播法。

そうそう。
多層パーセプトロンことニューラルネットワークになってからは、名実ともに「誤差逆伝播法」と呼べる。

うん。
基本的には一緒。
問題は、更新する重みが複数のユニット、複数の層に渡っているところだな。
1層あたりの複数のユニットに対しては、ベクトル演算の都合であまり問題にはならないが、
多層に渡ってる方が大問題だな。

隠れ層の重みだけを見るとその通りなのだけど、
出力層の重みも求める必要がある。

まぁ、連鎖律を使用して重みの更新方向が決まる点はかわらないから、
実際にそれぞれの連鎖律を求めるのを見た方が早いな。

そうそう。
つまり、メンドクサクなっただけと思えばOKだな。

とりあえず、それぞれの連鎖律を求める流れを決めておこう。
以下を想定している。

一個一個は単純パーセプトロンの時と変わらないな。
ただ、数が多いから混乱しやすい。
ここは慣れるしかないな。

まとめだよ。

• 多層パーセプトロンの重みを決定するための誤差逆伝播法が必要。
• 多層に渡っているため、少しメンドウクサイ。
• 各層の連鎖律を求め、その後結合させたり、プログラミング向けに最適化したりしていく予定。