バックナンバーはこちら。
https://www.simulationroom999.com/blog/compare-matlabpythonscilabjulia2-backnumber/
はじめに
正規方程式を用いた、多項式回帰分析について。
登場人物
博識フクロウのフクさん
イラストACにて公開の「kino_k」さんのイラストを使用しています。
https://www.ac-illust.com/main/profile.php?id=iKciwKA9&area=1
エンジニア歴8年の太郎くん
イラストACにて公開の「しのみ」さんのイラストを使用しています。
https://www.ac-illust.com/main/profile.php?id=uCKphAW2&area=1
多項式回帰分析
今回から、多項式回帰分析の話に突入する。
多項式回帰？
重回帰とは別物？
一応、多項式回帰は重回帰の一種ではある。
が、ここでは一旦分けて扱う。
まずはWikipediaから引用。
統計学における多項式回帰（たこうしきかいき、英: polynomial regression）とは、従属変数 y y を独立変数 x x の n n 次多項式でモデル化する回帰分析の一手法である。多項式回帰は、従属変数と独立変数とが非線形的な関係で表現されるような場合に適しており、例えば神経組織の成長、湖底堆積物中の炭素同位体の分布、感染症の拡大の記述に用いられてきた。多項式回帰ではデータに非線形なモデルを当てはめるが、推定理論（英語版）においては線形の問題に分類される。というのも、推定される関数が未知母数の1次式だからである。この意味で、多項式回帰は重回帰分析の特別な場合とみなされる。
Wikipediaより(https://ja.wikipedia.org/wiki/%E5%A4%9A%E9%A0%85%E5%BC%8F%E5%9B%9E%E5%B8%B0)
何言ってるのかわからんな・・・。
具体的な方程式はどんな感じになるの？
こんな多項式を想定している。
いわゆる、一元高次方程式ってやつだな。
\(
y=\alpha x^2+\beta x+\gamma
\)
なるほど。
前回までの重回帰分析は二元の多項式ではあったけど、高次ではなかったってところか。
でも、次数が上がったものを扱うイメージ沸かない・・・。
考え方は前回までの単回帰、重回帰と一緒だ。
同じように二乗和誤差関数と正規方程式の各成分の定義していく。
多項式回帰分析の二乗和誤差関数
で、どう定義するの？
以下が先の多項式に対しての二乗和誤差関数になる。
\(
\displaystyle\sum_{i=1}^n\{(\alpha x_i^2+\beta x_i+\gamma)-y_i\}^2
\)
まぁ元になる方程式の形から考えると、こんな感じにはなるよね。
正規方程式の各成分の定義
\((Ax-b)^2\)で最小化問題を解く場合はの各成分は以下となる。
\(
A=
\begin{bmatrix}
x_1^2 & x_1 & 1\\
x_2^2 & x_2 & 1\\
\vdots & \vdots & \vdots\\
x_n^2 & x_n & 1\\
\end{bmatrix},
\vec{x}=
\begin{bmatrix}
\alpha\\
\beta\\
\gamma
\end{bmatrix},
\vec{b}=
\begin{bmatrix}
y_1\\
y_2\\
\vdots\\
y_n
\end{bmatrix}
\)
結局は、元の多項式の形を入れ込んだだけってことか。
当然、次数が増えれば、それに合わせて各行列、ベクトルの要素も増える。
今回の二次の場合はこうなるってところに気を付けよう。
多項式回帰分析の実施
あとは正規方程式に上記パラメータを入れるだけで求めたい多項式の各係数が求まる。
これは単回帰分析、重回帰分析と同じ。
\(
x=(A^TA)^{-1}A^Tb
\)
じゃー、恒例の以下の流れでやっていく感じか。
- サンプリングデータの用意
- 正規方程式のパラメータへ成形
- 正規方程式で各係数算出
- サンプリングデータと求めらえた関数のプロット
サンプリングデータに関しては重回帰分析の時と同じように、
以下の多項式をベースに乱数で\(\pm 1\)をしたものを使用する。
\(
z=4x^2-5y+2
\)
係数として\(4,-5,2\)に近い値が求まればOKってパターンだね。
そうそう。
まとめ
まとめだよ。
- 正規方程式を使って多項式回帰分析を行う。
- 多項式回帰分析の二乗和誤差関数の定義。
- 正規方程式の各成分の定義。
- サンプリングデータは特定の多項式に±1の乱数を載せたものを使用。
- 特定の多項式と近い係数が求まればOK。
バックナンバーはこちら。
コメント