MATLAB,Python,Scilab,Julia比較 第4章 その113【最適化アルゴリズム⑫】

そうだね。
今回は、Adamならではの分類が出てきたのでそれを確認しておこう。

この感じだな。

分類の過程をアニメーションgifにしてみた。
そのgifを張っておこう。

最初は単純に直線分類しようとしてるが、
それが難しくなった際に別のセグメントを引っ張り出している。
あとは、可能な限り各点から離れた位置に決定境界線を引けるように学習している感じだな。

明確にはわからないが、
誤差関数の値は通常だと0.25あたりと開始として、
そこから徐々に落ちてくるのが勾配降下法とモーメンタムの挙動だった。
対して、Adamが今回のような結果を出すときは、一旦0.4まで跳ね上がってるというのはある。
これの影響で大域最適解に至れるルートを見るけられたというのはあるかもね。

これがもっと複雑なネットワークになった際に、Adamのこの特性が強く利いてくるのだと思うよ。

まとめだよ。

• Adamだけで出てくる分類結果を確認。
  • 四角形で分類する理想的な形状。
• この分類結果になる場合は、誤差関数の値が一気に跳ね上がる時。
  • これにより大域最適解を引き当てやすくなる。