MATLAB、Python、Scilab、Julia比較ページはこちら
https://www.simulationroom999.com/blog/comparison-of-matlab-python-scilab/
はじめに
の、
MATLAB,Python,Scilab,Julia比較 第2章 その62【多項式回帰分析①】
を書き直したもの。
正規方程式を用いた、多項式回帰分析について。
多項式回帰分析
今回から、多項式回帰分析の話に突入する。
一応、多項式回帰は重回帰の一種ではある。
が、ここでは一旦分けて扱う。
まずはWikipediaから引用。
統計学における多項式回帰（たこうしきかいき、英: polynomial regression）とは、従属変数 y y を独立変数 x x の n n 次多項式でモデル化する回帰分析の一手法である。多項式回帰は、従属変数と独立変数とが非線形的な関係で表現されるような場合に適しており、例えば神経組織の成長、湖底堆積物中の炭素同位体の分布、感染症の拡大の記述に用いられてきた。多項式回帰ではデータに非線形なモデルを当てはめるが、推定理論（英語版）においては線形の問題に分類される。というのも、推定される関数が未知母数の1次式だからである。この意味で、多項式回帰は重回帰分析の特別な場合とみなされる。
Wikipediaより(https://ja.wikipedia.org/wiki/%E5%A4%9A%E9%A0%85%E5%BC%8F%E5%9B%9E%E5%B8%B0)
何を言ってるのか分からないかもしれないが、
具体的な方程式は以下のような感じになる。
いわゆる、一元高次方程式。
\(
y=\alpha x^2+\beta x+\gamma
\)
前回までの重回帰分析は二元の多項式ではあったけど、高次ではなかった部分に差異がある。
次数が上がったものを扱うイメージ沸かないかもしれないが、
考え方は前回までの単回帰、重回帰と一緒で、
同じように二乗和誤差関数と正規方程式の各成分の定義していく。
多項式回帰分析の二乗和誤差関数
以下が先の多項式に対しての二乗和誤差関数になる。
\(
\displaystyle\sum_{i=1}^n\{(\alpha x_i^2+\beta x_i+\gamma)-y_i\}^2
\)
元になる方程式の形から考えると、こうなることは分かるだろう。
正規方程式の各成分の定義
\((Ax-b)^2\)で最小化問題を解く場合はの各成分は以下となる。
\(
A=
\begin{bmatrix}
x_1^2 & x_1 & 1\\
x_2^2 & x_2 & 1\\
\vdots & \vdots & \vdots\\
x_n^2 & x_n & 1\\
\end{bmatrix},
\vec{x}=
\begin{bmatrix}
\alpha\\
\beta\\
\gamma
\end{bmatrix},
\vec{b}=
\begin{bmatrix}
y_1\\
y_2\\
\vdots\\
y_n
\end{bmatrix}
\)
結局は、元の多項式の形を入れ込んだだけ。
当然、次数が増えれば、それに合わせて各行列、ベクトルの要素も増える。
今回の二次の場合はこうなるってところに気を付けよう。
多項式回帰分析の実施
あとは正規方程式に上記パラメータを入れるだけで求めたい多項式の各係数が求まる。
これは単回帰分析、重回帰分析と同じ。
\(
x=(A^TA)^{-1}A^Tb
\)
よって、恒例の以下の流れを実施していく。
- サンプリングデータの用意
- 正規方程式のパラメータへ成形
- 正規方程式で各係数算出
- サンプリングデータと求めらえた関数のプロット
サンプリングデータに関しては重回帰分析の時と同じように、
以下の多項式をベースに乱数で\(\pm 1\)をしたものを使用する。
\(
z=4x^2-5y+2
\)
係数として\(4,-5,2\)に近い値が求まればOKというパターン。
まとめ
- 正規方程式を使って多項式回帰分析を行う。
- 多項式回帰分析の二乗和誤差関数の定義。
- 正規方程式の各成分の定義。
- サンプリングデータは特定の多項式に±1の乱数を載せたものを使用。
- 特定の多項式と近い係数が求まればOK。
MATLAB、Python、Scilab、Julia比較ページはこちら
コメント