勾配降下法の動作イメージ
勾配降下法の更新式を確認したが、
実際どういうふう動くかは数式からはわかりにくい。
正直状況によるってところだが、
ざっくりとしては以下2パターンになる。
学習率が小さい場合
(収束に時間がかかる)
学習率が大きい場合
(収束は早いかもしれないが発散の可能性もある。)
学習率の設定で大きく性格がか変わる。
小さすぎても大きすぎてもダメで、ちょうどよさそうなところを頑張って探す必要がある。
このように人間の手で調整していくパラメータであるため、
学習率などはハイパーパラメータと呼ばれる。
パラメータって呼び方だと重みとかバイアスの話になるため、
ハイパーって接頭辞を付けて呼び分けてると思われる。
まとめ
- 勾配降下法の更新式を確認。
- 勾配降下法の動作イメージを確認。
- 学習率が大きい場合と小さい場合で挙動が変わる。
- ちょうど良い学習率を人間の手で探す。
- これにより、一般的なパラメータとは異なるハイパーパラメータというカテゴリになる。
MATLAB、Python、Scilab、Julia比較ページはこちら
Pythonで動かして学ぶ！あたらしい線形代数の教科書
Amazon.co.jp: Pythonで動かして学ぶ！あたらしい線形代数の教科書 eBook : かくあき: Kindleストア
Amazon.co.jp: Pythonで動かして学ぶ！あたらしい線形代数の教科書 eBook : かくあき: Kindleストア
amzn.to
ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装
ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 | 斎藤 康毅 |本 | 通販 | Amazon
Amazonで斎藤 康毅のゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装。アマゾンならポイント還元本が多数。斎藤 康毅作品ほか、お急ぎ便対象商品は当日お届けも可能。またゼロから作るDeep Lea...
amzn.to
ゼロからはじめるPID制御
ゼロからはじめるPID制御 | 熊谷 英樹 |本 | 通販 | Amazon
Amazonで熊谷 英樹のゼロからはじめるPID制御。アマゾンならポイント還元本が多数。熊谷 英樹作品ほか、お急ぎ便対象商品は当日お届けも可能。またゼロからはじめるPID制御もアマゾン配送商品なら通常配送無料。
amzn.to
OpenCVによる画像処理入門
OpenCVによる画像処理入門 改訂第3版 (KS情報科学専門書) | 小枝 正直, 上田 悦子, 中村 恭之 |本 | 通販 | Amazon
Amazonで小枝 正直, 上田 悦子, 中村 恭之のOpenCVによる画像処理入門 改訂第3版 (KS情報科学専門書)。アマゾンならポイント還元本が多数。小枝 正直, 上田 悦子, 中村 恭之作品ほか、お急ぎ便対象商品は当日お届けも可能。...
amzn.to
恋する統計学[回帰分析入門(多変量解析1)] 恋する統計学[記述統計入門]
恋する統計学[回帰分析入門(多変量解析1)] 恋する統計学[記述統計入門] | 金城俊哉 | 数学 | Kindleストア | Amazon
Amazonで金城俊哉の恋する統計学 恋する統計学。アマゾンならポイント還元本が多数。一度購入いただいた電子書籍は、KindleおよびFire端末、スマートフォンやタブレットなど、様々な端末でもお楽しみいただけます。
amzn.to
Pythonによる制御工学入門
Amazon.co.jp
amzn.to
理工系のための数学入門 ―微分方程式・ラプラス変換・フーリエ解析
Amazon.co.jp
amzn.to
コメント