KEI

商の微分方式の話。 逆数の微分公式と積の微分公式の合わせ技で導出。 商の微分方式はシグモイド関数の導関数導出で生きてくる。

積の微分公式を導出。 少しトリッキーなことをする。 f(x)の極限と、g(x)の極限に分けられるような細工。

連鎖律を把握するための知識を列挙。 恐らく数式ラッシュになる。 まずは逆数の微分公式。 途中、式を分解してそれぞれの導関数を求めてから代入で導出できる。

総当たり法では非効率なので最適化アルゴリズムを使用する。 最適化アルゴリズムを使用するには連鎖律が必要。 連鎖律を利用するには損失、活性化関数、各層の入力の導関数を求める必要がある。