MATLAB,Python,Scilab,Julia比較 第4章 その21【シグモイドによる決定境界安定化①】

カスタムヘヴィサイド関数・・・その名の通り、勝手に作った関数なのだが、
実は一般的に使用される関数もある。

シグモイド関数だ。

ディープラーニング関連のニューラルネットワークを学ぶ際に
最初に知ることになる活性化関数が大体シグモイド関数だろう。

目的はヘヴィサイド関数とおおよそ一緒だ。

やりたいことはそこなんだけど、
それだとヘヴィサイド関数の問題であった、勾配が無いってのに引っかかる。
シグモイド関数はヘヴィサイド関数と似てはいるが、常に勾配がある関数。

カスタムヘヴィサイド関数は±2.5の0近辺に勾配を持たせたものだが、それ以外には勾配はない。
シグモイド関数は±∞の全域に勾配がある。
まぁあまり原点から離れるとかなり勾配は緩くなるけどね。

そうそう。
そこらへんを次回もう少し詳細に説明しよう。

まとめだよ。

• 決定境界直線の一般的な安定化方法がある。
  • シグモイド関数を使用する方法。
• ヘヴィサイド関数のように0,1を表現することを目的とした関数だが、シグモイド関数は全域で勾配がある。