バックナンバーはこちら。
https://www.simulationroom999.com/blog/compare-matlabpythonscilabjulia2-backnumber/
はじめに
正規方程式を用いた、多変量多項式回帰分析(関数項あり)について。
登場人物
博識フクロウのフクさん
イラストACにて公開の「kino_k」さんのイラストを使用しています。
https://www.ac-illust.com/main/profile.php?id=iKciwKA9&area=1
エンジニア歴8年の太郎くん
イラストACにて公開の「しのみ」さんのイラストを使用しています。
https://www.ac-illust.com/main/profile.php?id=uCKphAW2&area=1
多変量多項式回帰分析(関数項あり)
もう、回帰分析関連は大体やれることはやった感じかな？
そうだね。
一般的な範囲に於いてはやり切った感はあるな。
その言い方だと、一般的ではない範囲ってのがありそうだな・・・。
関数項を含んだ多項式とかがあり得るかな。
関数項？
\(\sin,\cos,\exp\)みたいな関数を項としたものだな。
具体的な数式
具体的な数式で書くとどうなるの？
こんなのだな。
\(
z=\alpha x^2+\beta\cos(6x)+\gamma y^2+\delta\exp(2y)+\epsilon
\)
また、すげぇ式が出てきたな・・・。
まぁこれも重回帰分析のバリエーションの一つと言えるんだろうね。
ただし、関数項の中の引数に使ってる係数は調整はできないな。
\(\cos(6x)\)の中の\(6\)とか\(\exp(2y)\)の中の\(2\)のこと？
そうそう。
これを求めようと思ったら勾配降下法みたいなのを使用するしかないな。
勾配降下法も誤差を最小化する手法だが、正規方程式とはまた違った手法だ。
よって、今回は、正規方程式で扱える範囲のみとして、勾配降下法についてはこの場では対象外としよう。
(※その内扱うかもしれないけど)
多変量多項式回帰分析(関数項あり)の二乗和誤差関数
今回も、二乗和誤差関数を定義するんだよね？
こんな感じになるのかな？
\(
\displaystyle\sum_{i=1^n}\{\alpha x_i^2+\beta\cos(6x_i)+\gamma y_i^2+\delta\exp(2y_i)+\epsilon-z_i\}
\)
うん。OKだ。
正規方程式の各成分の定義
じゃー、\((Ax-b)^2\)で最小化問題を解く場合の各成分は以下かな。
\(
A=
\begin{bmatrix}
x_1^2 & \cos(6x_1) & y_1^2 & \exp(2y_1) &1\\
x_2^2 & \cos(6x_2) & y_2^2 & \exp(2y_2) &1\\
\vdots & \vdots & \vdots\\
x_n^2 & \cos(6x_n) & y_n^2 & \exp(2y_n) &1\\
\end{bmatrix},
\vec{x}=
\begin{bmatrix}
\alpha\\
\beta\\
\gamma\\
\delta\\
\epsilon\\
\end{bmatrix},
\vec{b}=
\begin{bmatrix}
z_1\\
z_2\\
\vdots\\
z_n
\end{bmatrix}
\)
正解だ。
しかし、むちゃくちゃ複雑な式だなー。
どんなグラフになるんだ？
それはやってみてのお楽しみだな。
多変量多項式回帰分析(関数項あり)の実施
恒例の正規方程式再掲
\(
x=(A^TA)^{-1}A^Tb
\)
そして、以下の流れで確認だね。
- サンプリングデータの用意
- 正規方程式のパラメータへ成形
- 正規方程式で各係数算出
- サンプリングデータと求めらえた関数のプロット
今回も、多変量多項式(関数項あり)をベースに乱数で\(\pm 1\)を加えたものにするとして、
式はどうしようか？
まぁ適当に以下で行こう。
\(
z=4x^2-5\cos(6x)+3y^2+\exp(2y)+2
\)
係数としては、\(4,-5,3,1,2\)に近い数値が求まればOKってことだね。
式が複雑だから、誤差の乗り方も大きくなるかもしれないが、おおよそ近い値にはなるだろう。
まとめ
まとめだよ。
- 正規方程式を使って多変量多項式回帰分析(関数項あり)を行う。
- 多変量多項式回帰分析(関数項あり)の二乗和誤差関数の定義。
- 正規方程式の各成分の定義。
- サンプリングデータは特定の多項式に±1の乱数を載せたものを使用。
- 特定の多変量多項式と近い係数が求まればOK。
バックナンバーはこちら。
コメント