MATLAB,Python,Scilab,Julia比較 第4章 その84【非線形分類の問題点①】

MATLAB,Python,Scilab,Julia比較 第4章 その84【非線形分類の問題点①】 数値計算
MATLAB,Python,Scilab,Julia比較 第4章 その84【非線形分類の問題点①】

バックナンバーはこちら。
https://www.simulationroom999.com/blog/compare-matlabpythonscilabjulia4-backnumber/

はじめに

多層パーセプトロンの誤差逆伝播法を行い、非線形分類を行った。
しかし、実は問題点が・・・。

登場人物

博識フクロウのフクさん

指差しフクロウ

イラストACにて公開の「kino_k」さんのイラストを使用しています。
https://www.ac-illust.com/main/profile.php?id=iKciwKA9&area=1

エンジニア歴8年の太郎くん

技術者太郎

イラストACにて公開の「しのみ」さんのイラストを使用しています。
https://www.ac-illust.com/main/profile.php?id=uCKphAW2&area=1

非線形分類時の問題

太郎くん
太郎くん

多層パーセプトロンことニューラルネットワークでの非線形分類もバッチリな感じだね。

フクさん
フクさん

一見するとそうだな。

太郎くん
太郎くん

なんか含みがある言い方だな・・・。

フクさん
フクさん

実は現状の多層パーセプトロンだと一定の確率、およそ20%くらいで分類が失敗する。

太郎くん
太郎くん

え゛

フクさん
フクさん

ここは分類の成功パターンと失敗パターンを見てもらった方が早いな。

非線形分類の成功パターン

フクさん
フクさん

まずは成功パターン

非線形分類成功パターン
太郎くん
太郎くん

これは前回までで見てきたパターンだね。

フクさん
フクさん

かなり理想的に分類できていると言って良いだろう。

非線形分類の失敗パターン

フクさん
フクさん

そして、問題の失敗パターンはこれになる。

非線形分類失敗パターン
太郎くん
太郎くん

これは・・・。
分類できてない・・・。

フクさん
フクさん

これが一定の割合で発生するって感じだな。

太郎くん
太郎くん

発生すると言っても何が原因なのかもわからないから
対策の打ちようもないような・・・。

フクさん
フクさん

まぁ、ある程度推測はできるし、一般的な対策方法もあるから、
それを試してみるというのもありかな。

太郎くん
太郎くん

その一般的な対策をやってみるって感じ?

フクさん
フクさん

折角だから、その前にもう少し状況をモニタしたいところだな。

失敗パターンのモニタ方法

太郎くん
太郎くん

で、どうやってモニタするの?

フクさん
フクさん

シンプルなのは誤差関数の収束度合いの確認だな。
確認のポイントは以下だな。

  • 最小値になっているか。
  • 収束しているか、振動しているか。
太郎くん
太郎くん

最小値且つ収束になっていなければ、局所最適解にハマってるって感じかな。

フクさん
フクさん

そうだね。
振動しているようであれば、学習の回数であるエポック数が足りないとかになるな。
まぁ、今回の場合だと局所最適解にハマってるパターンだと思うけど。

太郎くん
太郎くん

これで状況の確認ができるってことか。

フクさん
フクさん

あとは、決定境界線の推移をアニメーションで見れるようしておくと分かり易いかもしれない。

太郎くん
太郎くん

分類に至るまでの過程が見えそうだね。

フクさん
フクさん

ここら辺を次回までに準備しておこう。

まとめ

フクさん
フクさん

まとめだよ。

  • 非線形分類をしたが実は問題が発生している。
    • 20%くらいの確率で分類ができない。
  • 原因がわかるように誤差関数の推移や決定境界線の推移のアニメーションを見てみる予定。

バックナンバーはこちら。

Pythonで動かして学ぶ!あたらしい線形代数の教科書

https://amzn.to/3OE5bVp

ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装

https://amzn.to/3OBiaax

ゼロからはじめるPID制御

https://amzn.to/3SvzuyR

OpenCVによる画像処理入門

OpenCVによる画像処理入門 改訂第3版 (KS情報科学専門書)
◆◆3言語(C言語、C++、Python)対応で、「画像処理の基本」が身につくと、大好評のテキストの改訂版!◆◆ ・OpenCV4.5に対応し、さらにパワーアップ! ・基本アルゴリズムとサンプルプログラムが豊富で、いますぐできる! ・理論と...

恋する統計学[回帰分析入門(多変量解析1)] 恋する統計学[記述統計入門]

https://amzn.to/3STAe2i

Pythonによる制御工学入門

https://amzn.to/3uskuK5

理工系のための数学入門 ―微分方程式・ラプラス変換・フーリエ解析

https://amzn.to/3UAunQK

コメント

タイトルとURLをコピーしました