KEI

最適化アルゴリズムを通常の勾配降下法からモーメンタムに変えた際の差分を確認。モーメンタムの方が学習の収束が早い。勾配降下法で500エポックのところ100エポック。モーメンタムの場合、初期のパラメータ移動が大き目。これにより、大域最適化を見つける可能性が高くなる。

モーメンタムを確認するプログラムの方針を確認。以前の勾配降下法のプログラムをベースにする。隠れ層のユニット数は4。プログラムのフローを確認。モーメンタム項とパラメータ更新が基本的な差分となる。