バックナンバーはこちら。
https://www.simulationroom999.com/blog/compare-matlabpythonscilabjulia2-backnumber/
はじめに
正規方程式を用いた、多変量多項式回帰分析について。
登場人物
博識フクロウのフクさん
イラストACにて公開の「kino_k」さんのイラストを使用しています。
https://www.ac-illust.com/main/profile.php?id=iKciwKA9&area=1
エンジニア歴8年の太郎くん
イラストACにて公開の「しのみ」さんのイラストを使用しています。
https://www.ac-illust.com/main/profile.php?id=uCKphAW2&area=1
多変量多項式回帰分析
次は、多変量多項式回帰分析を行う。
また、すごい名前のが来たな・・・。
まぁ、これも重回帰分析のバリエーションの一つだな。
ここでは分けて扱う。
名前からすると、重回帰みたいに変数が複数で、多項式回帰みたいに次数があるってことかな？
正解。
具体的な式を出してもらうとイメージわくかも。
こんな感じだな。
\(
\alpha x^2+\beta x y+\gamma y^2+\delta y+\epsilon
\)
確かに、重回帰と多項式回帰を混ぜた感じだな・・・。
多項式回帰分析の二乗和誤差関数
これも、二乗和誤差関数を定義するんだよね？
そうだね。
以下が先の多変量多項式に対しての二乗和誤差関数になる。
\(
\displaystyle\sum_{i=1}^n\{(\alpha x_i^2+\beta x_i y_i+\gamma y_i^2+\delta y_i+\epsilon)-z_i\}^2
\)
式はややこしくなったけど、考え方はいままでと全く一緒ってことか。
そうそう。
正規方程式の各成分の定義
\((Ax-b)^2\)で最小化問題を解く場合はの各成分は以下となる。
\(
A=
\begin{bmatrix}
x_1^2 & x_1y_1 & y_1^2 & y_1 &1\\
x_2^2 & x_2y_2 & y_2^2 & y_2 &1\\
\vdots & \vdots & \vdots\\
x_n^2 & x_ny_n & y_n^2 & y_n &1\\
\end{bmatrix},
\vec{x}=
\begin{bmatrix}
\alpha\\
\beta\\
\gamma\\
\delta\\
\epsilon\\
\end{bmatrix},
\vec{b}=
\begin{bmatrix}
z_1\\
z_2\\
\vdots\\
z_n
\end{bmatrix}
\)
大分ややこしいことになってるな・・・。
といっても、正規方程式で扱う上でのルールはかわってはいないんだね。
今回は、2変数、2次の場合の構成で、当然、もっと複雑な構成も作れる。
まぁ2変数で留めておかないと3Dグラフにプロットできないしね。
多変量多項式回帰分析の実施
じゃ、恒例の正規方程式を再掲
\(
x=(A^TA)^{-1}A^Tb
\)
さらにこの流れでやってく感じだね。
- サンプリングデータの用意
- 正規方程式のパラメータへ成形
- 正規方程式で各係数算出
- サンプリングデータと求めらえた関数のプロット
サンプリングデータに関しては重回帰分析、多項式回帰分析の時と同じように、
以下の多変量多項式をベースに乱数で\(\pm 1\)をしたものを使用する。
\(
z=4x^2-5xy+3y^2+y+2
\)
係数として\(4,-5,3,1,2\)に近い値が求まればOKってパターンだね。
そうなるな。
まとめ
まとめだよ。
- 正規方程式を使って多変量多項式回帰分析を行う。
- 多変量多項式回帰分析の二乗和誤差関数の定義。
- 正規方程式の各成分の定義。
- サンプリングデータは特定の多項式に±1の乱数を載せたものを使用。
- 特定の多変量多項式と近い係数が求まればOK。
コメント