数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その50【逆伝播①】
誤差逆伝播法とか単純パーセプトロンに関連する用語を確認。様々な都合で、単純パーセプトロンに対する誤差逆伝播法を「逆伝播」と呼称することに。逆伝播を行う単純パーセプトロンの構成を確認。誤差関数は二乗和誤差関数を1/2にしたもの。1/2により微分後の数式がシンプルになる。
KEI
数値計算 
数値計算 【入門】勾配降下法(Julia)【数値計算】
勾配降下法の実験をScilabで実施。予想通り局所最適解に陥った。局所最適解の回避方法としては学習率を状況に応じて変更する様々は最適化アルゴリズムがある。モーメンタム、AdaGrad、Adamなどなど。
数値計算 【入門】勾配降下法(Scilab)【数値計算】
勾配降下法の実験をScilabで実施。予想通り局所最適解に陥った。局所最適解の回避方法としては学習率を状況に応じて変更する様々は最適化アルゴリズムがある。モーメンタム、AdaGrad、Adamなどなど。
数値計算 【入門】勾配降下法(Python)【数値計算】
勾配降下法の実験をPythonで実施。予想通り局所最適解に陥った。局所最適解の回避方法としては学習率を状況に応じて変更する様々は最適化アルゴリズムがある。モーメンタム、AdaGrad、Adamなどなど。
数値計算 【入門】勾配降下法(MATLAB)【数値計算】
勾配降下法の実験をMATLABで実施。予想通り局所最適解に陥った。局所最適解の回避方法としては学習率を状況に応じて変更する様々は最適化アルゴリズムがある。モーメンタム、AdaGrad、Adamなどなど。
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その49【勾配降下法⑦】
勾配降下法の実験をJuliaで実施。予想通り局所最適解に陥った。局所最適解の回避方法としては学習率を状況に応じて変更する様々は最適化アルゴリズムがある。モーメンタム、AdaGrad、Adamなどなど。
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その48【勾配降下法⑥】
勾配降下法の実験をScilabで実施。予想通り局所最適解に陥った。局所最適解の回避方法としては学習率を状況に応じて変更する様々は最適化アルゴリズムがある。モーメンタム、AdaGrad、Adamなどなど。
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その47【勾配降下法⑤】
勾配降下法の実験をPythonで実施。予想通り局所最適解に陥った。局所最適解の回避方法としては学習率を状況に応じて変更する様々は最適化アルゴリズムがある。モーメンタム、AdaGrad、Adamなどなど。
数値計算 MATLAB,Python,Scilab,Julia比較 第4章 その46【勾配降下法④】
勾配降下法の実験をMATLABで実施。予想通り局所最適解に陥った。局所最適解の回避方法としては学習率を状況に応じて変更する様々は最適化アルゴリズムがある。モーメンタム、AdaGrad、Adamなどなど。
数値計算 【入門】勾配降下法【数値計算】
勾配降下法に概念レベルの説明。勾配降下法をプログラム的に確認する方法としてニューラルネットワークではなく、任意の関数に試す方法がある。勾配降下法プログラムのフローで分かりにくいところを説明。