【入門】決定境界直線の安定化(Julia)【数値計算】

MATLAB、Python、Scilab、Julia比較ページはこちら
https://www.simulationroom999.com/blog/comparison-of-matlab-python-scilab/

はじめに
【再掲】カスタムヘヴィサイド(造語)
Juliaコード
処理結果
考察
まとめ

はじめに

の、

MATLAB,Python,Scilab,Julia比較第4章その20【決定境界直線の安定化⑦】

を書き直したもの。

形式ニューロンの決定境界直線がギリギリのところにある問題の対策としてカスタムヘヴィサイド(造語)を使用したプログラムを作成。
今回はJulia。

【再掲】カスタムヘヴィサイド(造語)

まずは、カスタムヘヴィサイド関数の再掲。

\(
\begin{cases}
y=0&(x\le -2.5) \\
y=1&(2.5\le x) \\
y=2x+0.5&(-2.5\lt x \lt 2.5)
\end{cases}
\)

今回はこれを活性化関数とした形式ニューロンをJuliaで実現する。

Juliaコード

Juliaコードは以下。

function custom_heaviside(x)
    return (x .< -0.25) .* 0 + ((x .>= -0.25) .& (x .<= 0.25)) .* (2 .* x .+ 0.5) + (x .> 0.25) .* 1
end

using PyPlot

function NeuronalBruteForceLearningHeaviside()
	# データセットの入力
	X = [0 0; 0 1; 1 0; 1 1]
	# データセットの出力
	Y = [0; 0; 0; 1]

	# パラメータの初期値
	W = zeros(2, 1) # 重み
	b = 0 # バイアス
	num_epochs = 10000 # 学習のエポック数
	learning_rate = 0.1 # 学習率
	min_loss = Inf
	learning_range = 4
	n = length(Y)

	# 重みの総当たり計算
	best_w1, best_w2, best_b = 0, 0, 0
	for w1 = -learning_range:learning_rate:learning_range
	    for w2 = -learning_range:learning_rate:learning_range
	        for b = -learning_range:learning_rate:learning_range
	            # フォワードプロパゲーション
	            Z = X * [w1; w2] .+ b # 重みとバイアスを使用して予測値を計算
	            A = custom_heaviside.(Z) # ヘヴィサイド活性化関数を適用

	            # 損失の計算
	            loss = 1/n * sum((A - Y).^2) # 平均二乗誤差

	            # 最小損失の更新
	            if loss < min_loss
	                min_loss = loss
	                best_w1 = w1
	                best_w2 = w2
	                best_b = b
	            end
	        end
	    end
	    # ログの表示
	    println("loss: $min_loss")
	    println("weight: w1 = $best_w1, w2 = $best_w2")
	    println("bias: b = $best_b")
	end

	# 最小コストの重みを更新
	W = [best_w1; best_w2]
	b = best_b

	# 学習結果の表示
	println("learning completed")
	println("weight: w1 = $(W[1]), w2 = $(W[2])")
	println("bias: b = $b")

	# 出力結果確認
	println("X=$(X)")
	result = custom_heaviside.(X * [W[1]; W[2]] .+ b)
	println("hatY=$(result)")

	# 決定境界線のプロット
	x1 = range(-0.5, 1.5, length=100) # x1の値の範囲
	x2 = -(W[1] * x1 .+ b) / W[2] # x2の計算

	scatter(X[Y .== 0, 1], X[Y .== 0, 2], color="r", marker="o", label="Class 0")
	scatter(X[Y .== 1, 1], X[Y .== 1, 2], color="b", marker="o", label="Class 1")
	plot(x1, x2, color="k", linewidth=2)
	xlim([-0.5, 1.5])
	ylim([-0.5, 1.5])

	# グラフの装飾
	title("Decision Boundary")
	xlabel("x1")
	ylabel("x2")
	legend(["Class 0", "Class 1", "Decision Boundary"])
	grid(true)
	show()
end


NeuronalBruteForceLearningHeaviside()

処理結果

処理結果は以下。

weight: w1 = 0.6, w2 = 0.6
bias: b = -0.9
X=[0 0; 0 1; 1 0; 1 1]
hatY=[0.0, 0.0, 0.0, 1.0]

考察

これもMATLABと同じ結果。
コードも大分近い。
というより、例に漏れずコピペした。

まとめ

形式ニューロンの活性化関数をカスタムヘヴィサイド(造語)関数にしたものをJuliaで作成。
例に漏れずMATLABコードのコピペがベース。

MATLAB、Python、Scilab、Julia比較ページはこちら

Pythonで動かして学ぶ！あたらしい線形代数の教科書

Amazon.co.jp

ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装

Amazon.co.jp

ゼロからはじめるPID制御

https://amzn.to/3SvzuyR

OpenCVによる画像処理入門

https://amzn.to/498ZUgK

恋する統計学[回帰分析入門(多変量解析1)] 恋する統計学[記述統計入門]

Amazon.co.jp

Pythonによる制御工学入門

Amazon.co.jp

理工系のための数学入門 ―微分方程式・ラプラス変換・フーリエ解析

https://amzn.to/3UAunQK