バックナンバーはこちら。
https://www.simulationroom999.com/blog/compare-matlabpythonscilabjulia3-backnumber/
はじめに
非極大値抑制をプログラムで実現してみる。
今回はJuliaで実施。
登場人物
博識フクロウのフクさん
イラストACにて公開の「kino_k」さんのイラストを使用しています。
https://www.ac-illust.com/main/profile.php?id=iKciwKA9&area=1
エンジニア歴8年の太郎くん
イラストACにて公開の「しのみ」さんのイラストを使用しています。
https://www.ac-illust.com/main/profile.php?id=uCKphAW2&area=1
動作確認用処理【再掲】
太郎くん
まずは、非極大値抑制の実験の処理手順を再掲
- Sobelフィルタ等の微分フィルタで以下を推定
- x軸、y軸の濃淡変化量
- 変化強度(ノルム)
- 「x軸、y軸の濃淡変化量」から勾配方向角を推定
- arntan関数を利用
- 勾配方向を垂直(UD)、水平(LR)、斜め右上から右下(RULD)、斜め左上から右下の4パターンに丸め。
- 勾配方向角に応じて極大値評価をして非極大値だったら「変化強度(ノルム)」 を0値埋め
- 画像出力
フクさん
これをJuliaで実現する。
Juliaコード
フクさん
Juliaコードは以下になる。
using Images
# 畳み込み演算
function convolution2d(img, kernel)
(n, m) = size(kernel); # カーネルサイズ取得
# カーネル中心からみた幅
dy = Int64((n-1)/2); # カーネル上下幅
dx = Int64((m-1)/2); # カーネル左右幅
(h, w) = size(img); # イメージサイズ
out = zeros(h, w); # 出力用イメージ
# 畳み込み
for y = dy+1:(h - dy)
for x = dx+1:(w-dx)
out[y, x] = sum( img[y-dy:y+dy, x-dx:x+dx].*kernel );
end
end
return out;
end
# Non maximum Suppression
function non_maximum_suppression(G, theta)
(h, w) = size(G);
out = copy(G);
# 勾配方向を4方向(LR,UD,RULD,LURD)に近似
theta[ -22.5 .<= theta .< 22.5] .= 0; # LR ─
theta[ 22.5 .<= theta .< 67.5] .= 45; # RULD ／
theta[ 67.5 .<= theta .< 112.5] .= 90; # UD │
theta[ 112.5 .<= theta .< 157.5] .= 135; # LURD ＼
theta[ 157.5 .<= theta .< 180.0] .= 0; # LR ─
theta[-180.0 .<= theta .< -157.5] .= 0; # LR ─
theta[-157.5 .<= theta .< -112.5] .= 45; # RULD ／
theta[-112.5 .<= theta .< -67.5] .= 90; # UD │
theta[ -67.5 .<= theta .< -22.5] .= 135; # LURD ＼
# 現画素の勾配方向に接する2つの画素値を比較し、現画素が極大値でなければ0にする。
for y = 2:(h - 1)
for x = 2:(w - 1)
if theta[y,x] == 0 # LR ─
if (G[y,x] < G[y,x+1]) || (G[y,x] < G[y,x-1])
out[y,x] = 0;
end
elseif theta[y,x] == 45 # RULD ／
if (G[y,x] < G[y-1,x+1]) || (G[y,x] < G[y+1,x-1])
out[y,x] = 0;
end
elseif theta[y,x] == 90 # UD │
if (G[y,x] < G[y+1,x]) || (G[y,x] < G[y-1,x])
out[y,x] = 0;
end
else # LURD ＼
if (G[y,x] < G[y+1,x+1]) || (G[y,x] < G[y-1,x-1])
out[y,x] = 0;
end
end
end
end
return out
end
function non_maximum_suppression_test()
# 入力画像の読み込み
img = channelview(load("dog.jpg"));
r = img[1,:,:];
g = img[2,:,:];
b = img[3,:,:];
# ガウシアンフィルタ用のkernel
kernel_gauss = [ 1/16 2/16 1/16;
2/16 4/16 2/16;
1/16 2/16 1/16];
# Sobelフィルタ用のKernel
kernel_sx = [-1 0 1;
-2 0 2;
-1 0 1];
kernel_sy = kernel_sx';
# SDTVグレースケール
gray_sdtv = 0.2990 * r + 0.5870 * g + 0.1140 * b;
# ガウシアンフィルタ
img_g = convolution2d(gray_sdtv, kernel_gauss);
# Sobelフィルタ
Gx = convolution2d(img_g, kernel_sx);
Gy = convolution2d(img_g, kernel_sy);
# 勾配強度と角度
G = sqrt.( Gx.^2 + Gy.^2 );
theta = atan.(Gy, Gx) * 180 / pi;
save("dog_nms_G_j.jpg",colorview(Gray,max.(min.(abs.(G),1),0))); # 1.0オーバーあり
save("dog_nms_theta_j.jpg",colorview(Gray,max.(min.(abs.(theta/255),1),0))); # -180～180
# 極大値以外を除去(Non maximum Suppression)
G_nms = non_maximum_suppression(G, theta);
save("dog_nms_j.jpg",colorview(Gray, min.(abs.(G_nms),1))); # 1.0オーバーあり
return;
end
non_maximum_suppression_test();
処理結果
フクさん
処理結果は以下になる。
考察
太郎くん
Juliaも基本的に記述方法はMATLABに似てるね。
フクさん
そうだね。
ただし、ピクセルの256階調が0～1に正規化されてる点に注意だな。
太郎くん
まぁ、そこは毎度な話でもあるけどね。
太郎くん
そして、Juliaでは論理インデックスサーチを使用してるのか。
theta[ -22.5 .<= theta .< 22.5] .= 0; # LRフクさん
Juliaの場合、”.”演算子でブロードキャストする必要があるけどね。
太郎くん
まぁ、それも毎度な話だね。
太郎くん
線形インデックスサーチに相当するものもあるんだよね？
フクさん
あるよ。
だから、各環境、各言語でそれぞれをまとめて説明することになると思う。
まとめ
フクさん
まとめだよ。
- Juliaで非極大値抑制を実施。
- MATLABと同様の結果が得られた。
- ピクセルの正規化の話と、”.”によるブロードキャストは毎度な話。
バックナンバーはこちら。
コメント