【入門】誤差逆伝播法(Julia)【数値計算】

MATLAB、Python、Scilab、Julia比較ページはこちら
https://www.simulationroom999.com/blog/comparison-of-matlab-python-scilab/

はじめに
誤差逆伝播法の各演算【再掲】
Juliaコード
処理結果
まとめ

はじめに

の、

MATLAB,Python,Scilab,Julia比較第4章その83【誤差逆伝播法⑩】

を書き直したもの。

多層パーセプトロンの誤差逆伝播法を行う。
今回はJuliaで実現。

誤差逆伝播法の各演算【再掲】

まずは、前回求めた誤差逆伝播法の各演算を再掲。

隠れ層の重み\(W_2\)とバイアス\(b_2\)の勾配(\(\Delta W_2,\Delta b_2\))を特定

\(
\Delta W_2=\Delta_2 A_2
\)

\(
\Delta b_2=\Delta_2 1
\)

入力層の重み\(W_1\)とバイアス\(b_1\)の勾配(\(\Delta W_1,\Delta b_1\))を特定

\(
\Delta W_1=\Delta_1 X
\)

\(
\Delta b_1=\Delta_1 1
\)

各勾配から各重み、各バイアスを更新(学習率\(\mu\)を掛けておく)

\(
\begin{eqnarray}
W_1&=&W_1-\mu\Delta W_1\\
b_1&=&b_1-\mu\Delta b_1\\
W_2&=&W_2-\mu\Delta W_2\\
b_2&=&b_2-\mu\Delta b_2\\
\end{eqnarray}
\)

これをJuliaで実現する。

Juliaコード

Juliaコードは以下。

using PyPlot

function sigmoid(x)
    return 1.0 ./ (1.0 + exp.(-x))
end

function sigmoid_derivative(x)
    return sigmoid(x) .* (1.0 - sigmoid(x))
end

function meshgrid(xin,yin)
    nx=length(xin)
    ny=length(yin)
    xout=zeros(ny,nx)
    yout=zeros(ny,nx)
    for jx=1:nx
        for ix=1:ny
            xout[ix,jx]=xin[jx]
            yout[ix,jx]=yin[ix]
        end
    end
    return (x=xout, y=yout)
end

function MultilayerPerceptron()
	# データの準備
	X = [0 0; 0 1; 1 0; 1 1]  # 入力データ
	y = [0; 1; 1; 0]  # 出力データ

	# ネットワークの構築
	hidden_size = 2  # 隠れ層のユニット数
	output_size = 1  # 出力層のユニット数
	learning_rate = 0.5  # 学習率

	input_size = size(X, 2)
	W1 = randn(input_size, hidden_size)  # 入力層から隠れ層への重み行列
	b1 = randn(1, hidden_size)  # 隠れ層のバイアス項
	W2 = randn(hidden_size, output_size)  # 隠れ層から出力層への重み行列
	b2 = randn(1, output_size)  # 出力層のバイアス項

	# 学習
	epochs = 4000  # エポック数

	errors = zeros(epochs, 1)  # エポックごとの誤差を保存する配列

	for epoch in 1:epochs
	    # 順伝播
        Z1 = X * W1 .+ b1 # 隠れ層の入力
	    A1 = sigmoid.(Z1)  # 隠れ層の出力
        Z2 = A1 * W2 .+ b2 # 出力層の入力
	    A2 = sigmoid.(Z2)  # 出力層の出力

	    # 誤差計算（平均二乗誤差）
	    error = (1 / size(X, 1)) * sum((A2 - y) .^ 2)
	    errors[epoch] = error

	    # 逆伝播
	    delta2 = (A2 - y) .* sigmoid_derivative.(Z2)
	    delta1 = (delta2 * W2') .* sigmoid_derivative.(Z1)

	    grad_W2 = A1' * delta2
	    grad_b2 = sum(delta2)
	    grad_W1 = X' * delta1
	    grad_b1 = sum(delta1)

	    # パラメータの更新
	    W1 = W1 - learning_rate * grad_W1
	    b1 = b1 .- learning_rate .* grad_b1
	    W2 = W2 - learning_rate * grad_W2
	    b2 = b2 .- learning_rate .* grad_b2
	end

	# 決定境界線の表示
	h = 0.01  # メッシュの間隔
	x1, x2 = meshgrid(minimum(X[:, 1])-0.5:h:maximum(X[:, 1])+0.5, minimum(X[:, 2])-0.5:h:maximum(X[:, 2])+0.5)
	X_mesh = hcat(x1[:], x2[:])

	hidden_layer_mesh = sigmoid.(X_mesh * W1 .+ b1)
	output_layer_mesh = sigmoid.(hidden_layer_mesh * W2 .+ b2)
	y_mesh = round.(output_layer_mesh)
	figure()
	decision_mesh = reshape(y_mesh, size(x1))  # 分類結果のメッシュを元のグリッドサイズに変形する
	colormap = ["#CCFFCC","#FFCCCC"]  # 各領域の色を指定する
	contourf(x1, x2, decision_mesh, levels=1, colors=colormap)
	scatter(X[y .== 1, 1], X[y .== 1, 2], 100, "r", facecolors="none",label="Class 1")  # クラス1のデータ点を赤でプロット
	scatter(X[y .== 0, 1], X[y .== 0, 2], 100, "g", facecolors="none",label="Class 0")  # クラス0のデータ点を緑でプロット
	xlabel("X1")
	ylabel("X2")
	title("XOR Classification")
	legend(loc="best")  # クラスの順序を入れ替える
	grid(true)
	show()
	
	figure()
	plot(errors[1:4000])
	show()
end

MultilayerPerceptron()