【入門】モーメンタム②【数値計算】

勾配降下法の動作イメージ

勾配降下法の更新式を確認したが、
実際どういうふう動くかは数式からはわかりにくい。

正直状況によるってところだが、
ざっくりとしては以下2パターンになる。

学習率が小さい場合
(収束に時間がかかる)

学習率が大きい場合
(収束は早いかもしれないが発散の可能性もある。)

学習率の設定で大きく性格がか変わる。
小さすぎても大きすぎてもダメで、ちょうどよさそうなところを頑張って探す必要がある。

このように人間の手で調整していくパラメータであるため、
学習率などはハイパーパラメータと呼ばれる。

パラメータって呼び方だと重みとかバイアスの話になるため、
ハイパーって接頭辞を付けて呼び分けてると思われる。

まとめ

• 勾配降下法の更新式を確認。
• 勾配降下法の動作イメージを確認。
  • 学習率が大きい場合と小さい場合で挙動が変わる。
  • ちょうど良い学習率を人間の手で探す。
  • これにより、一般的なパラメータとは異なるハイパーパラメータというカテゴリになる。

MATLAB、Python、Scilab、Julia比較ページはこちら

【入門】MATLAB,Python,Scilab,Julia使い方比較【数値計算プログラム】

MATLAB,Python,Scilab,Juliaを比較。基本的な計算、ベクトル行列演算、グラフ(波形)表示、伝達関数、画像取り込み、最小二乗法を元に比較しています。それぞれツールの特性が理解できれば使い分けも移行も難しくは無いでしょう。似ている部分も多いので私の場合はそれを利用するして実験の幅を広げています。

www.simulationroom999.com

2020.04.12

Pythonで動かして学ぶ！あたらしい線形代数の教科書

Amazon.co.jp

amzn.to

ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装

Amazon.co.jp

amzn.to

ゼロからはじめるPID制御

https://amzn.to/3SvzuyR

amzn.to

OpenCVによる画像処理入門

https://amzn.to/498ZUgK

amzn.to

恋する統計学[回帰分析入門(多変量解析1)] 恋する統計学[記述統計入門]

Amazon.co.jp

amzn.to

Pythonによる制御工学入門

Amazon.co.jp

amzn.to

理工系のための数学入門 ―微分方程式・ラプラス変換・フーリエ解析

https://amzn.to/3UAunQK

amzn.to