【入門】モーメンタム②【数値計算】

【入門】モーメンタム②【数値計算】 数値計算
【入門】モーメンタム②【数値計算】

勾配降下法の動作イメージ

勾配降下法の更新式を確認したが、
実際どういうふう動くかは数式からはわかりにくい。

正直状況によるってところだが、
ざっくりとしては以下2パターンになる。

学習率が小さい場合
(収束に時間がかかる)

勾配降下法学習率小 学習率が小さい場合 (収束に時間がかかる)

学習率が大きい場合
(収束は早いかもしれないが発散の可能性もある。)

勾配降下法学習率大 学習率が大きい場合 (収束は早いかもしれないが発散の可能性もある。)

学習率の設定で大きく性格がか変わる。
小さすぎても大きすぎてもダメで、ちょうどよさそうなところを頑張って探す必要がある。

このように人間の手で調整していくパラメータであるため、
学習率などはハイパーパラメータと呼ばれる。

パラメータって呼び方だと重みとかバイアスの話になるため、
ハイパーって接頭辞を付けて呼び分けてると思われる。

まとめ

  • 勾配降下法の更新式を確認。
  • 勾配降下法の動作イメージを確認。
    • 学習率が大きい場合と小さい場合で挙動が変わる。
    • ちょうど良い学習率を人間の手で探す。
    • これにより、一般的なパラメータとは異なるハイパーパラメータというカテゴリになる。

MATLAB、Python、Scilab、Julia比較ページはこちら

Pythonで動かして学ぶ!あたらしい線形代数の教科書

Amazon.co.jp: Pythonで動かして学ぶ!あたらしい線形代数の教科書 eBook : かくあき: Kindleストア
Amazon.co.jp: Pythonで動かして学ぶ!あたらしい線形代数の教科書 eBook : かくあき: Kindleストア

ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装

ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 | 斎藤 康毅 |本 | 通販 | Amazon
Amazonで斎藤 康毅のゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装。アマゾンならポイント還元本が多数。斎藤 康毅作品ほか、お急ぎ便対象商品は当日お届けも可能。またゼロから作るDeep Lea...

ゼロからはじめるPID制御

ゼロからはじめるPID制御 | 熊谷 英樹 |本 | 通販 | Amazon
Amazonで熊谷 英樹のゼロからはじめるPID制御。アマゾンならポイント還元本が多数。熊谷 英樹作品ほか、お急ぎ便対象商品は当日お届けも可能。またゼロからはじめるPID制御もアマゾン配送商品なら通常配送無料。

OpenCVによる画像処理入門

OpenCVによる画像処理入門 改訂第3版 (KS情報科学専門書) | 小枝 正直, 上田 悦子, 中村 恭之 |本 | 通販 | Amazon
Amazonで小枝 正直, 上田 悦子, 中村 恭之のOpenCVによる画像処理入門 改訂第3版 (KS情報科学専門書)。アマゾンならポイント還元本が多数。小枝 正直, 上田 悦子, 中村 恭之作品ほか、お急ぎ便対象商品は当日お届けも可能。...

恋する統計学[回帰分析入門(多変量解析1)] 恋する統計学[記述統計入門]

恋する統計学[回帰分析入門(多変量解析1)] 恋する統計学[記述統計入門] | 金城俊哉 | 数学 | Kindleストア | Amazon
Amazonで金城俊哉の恋する統計学 恋する統計学。アマゾンならポイント還元本が多数。一度購入いただいた電子書籍は、KindleおよびFire端末、スマートフォンやタブレットなど、様々な端末でもお楽しみいただけます。

Pythonによる制御工学入門

Amazon.co.jp

理工系のための数学入門 ―微分方程式・ラプラス変換・フーリエ解析

Amazon.co.jp

コメント

タイトルとURLをコピーしました