MATLAB,Python,Scilab,Julia比較 第4章 その101【モーメンタム⑪】

差分はある。

学習の収束速度が大幅に上がってるな。

そうそう。
勾配降下法でやった場合と、
モーメンタムでやった場合のグラフを比較してみよう。

勾配降下法はおおよそ500エポックあたりで収束だが、
モーメンタムは100エポックあたりで収束だな。
収束の仕方も一気に進んでいる。
これがモーメンタムの勢いをのせた結果だろう。

初期段階だと誤差関数の移動範囲が大き目に出るからね。
その分大域最適解を探せる可能性があるとも言えるんだろうね。
まぁ、今回の構造だと、これの効能は目立って出ることはないだろうけど。

あとは学習データが大量にあって、
その都合でミニバッチ学習、オンライン学習を採用する際も効果があるのだろう。

というわけで、モーメンタムのは話はここで終了。

まとめだよ。

• 最適化アルゴリズムを通常の勾配降下法からモーメンタムに変えた際の差分を確認。
  • モーメンタムの方が学習の収束が早い。
    • 勾配降下法で500エポックのところ100エポック。
  • モーメンタムの場合、初期のパラメータ移動が大き目。
    • これにより、大域最適化を見つける可能性が高くなる。