バックナンバーはこちら。
https://www.simulationroom999.com/blog/compare-matlabpythonscilabjulia2-backnumber/
はじめに
今回から回帰分析の基本的な方程式である正規方程式の話に投入。
登場人物
博識フクロウのフクさん
イラストACにて公開の「kino_k」さんのイラストを使用しています。
https://www.ac-illust.com/main/profile.php?id=iKciwKA9&area=1
エンジニア歴8年の太郎くん
イラストACにて公開の「しのみ」さんのイラストを使用しています。
https://www.ac-illust.com/main/profile.php?id=uCKphAW2&area=1
1次関数以上の回帰分析
というわけで、1次関数の回帰分析こと最小二乗法が終わったところだ。
で、これからどうするの？
1次関数以外の回帰分析だな。
つまり2次関数とか3次関数とか？
そうそう。
そういうのを多項式回帰分析という。
あとは、変数が複数とかもかな。
いわゆる重回帰分析。
今までのやってきたのは単回帰分析ってカテゴリになる。
単回帰分析と重回帰分析は聞いたことあるな。
1次関数最小二乗法は単回帰分析だったのか。
で、その重回帰分析と多項式回帰分析をするにはどうしたらよいの？
正規方程式を使用する！
正規方程式
またよくわからん言葉が出てきた・・・。
正規方程式は1次関数最小二乗法で使用した誤差関数である二乗和誤差を多変量として一般化したものだな。
「多変量として一般化したものだな。」
で理解できるとでも思ってるならばそれはお前の怠慢だ！
(いや、理解しない方の怠慢では？？？)
まぁ私もそれで理解できるとは思ってないよ。
よって、要素分解して、その要素を各個撃破していく。
恒例の一つずつ片付けていく方式だね。
となると、説明の流れが欲しいかな？
一応、正規方程式に至る道を要素分解した図を用意した。
そして説明の流れとしては以下を想定。
図示した因果関係を見ても、これの流れが自然だろう。
- 対称行列
- 二次形式
- 二次形式の微分
- グラム行列
- 二乗和誤差(の多変量一般化)
- 正規方程式
それぞれの要素が何言ってるかさっぱりわからんけど、
こういう因果関係が分かる図があるだけでも安心するね。
そうだね。
こういう図があれば、どこの理解が抜けたとかも確認できるし、作っておいた方が良いだろう。
まとめ
まとめだよ。
- 1次関数最小二乗法こと単回帰分析のあとは重回帰分析、多項式回帰分析にチャレンジ。
- 重回帰分析、多項式回帰分析を行うには正規方程式が必要。
- 正規方程式を導出するまでの因果関係を図示した。
バックナンバーはこちら。
コメント