【入門】重回帰分析【数値計算】

MATLAB、Python、Scilab、Julia比較ページはこちら
https://www.simulationroom999.com/blog/comparison-of-matlab-python-scilab/

はじめに
重回帰分析
重回帰分析の二乗和誤差関数
正規方程式の各成分の定義
重回帰分析の実施
まとめ

はじめに

の、
MATLAB,Python,Scilab,Julia比較第2章その57【重回帰分析①】

を書き直したもの。

正規方程式を用いた、重回帰分析について。

重回帰分析

今回から重回帰分析に突入する。
どんなものかをWikipediaから引用しておく。

重回帰分析（じゅうかいきぶんせき）は、多変量解析の一つ。回帰分析において独立変数が2つ以上（2次元以上）のもの。独立変数が1つのものを単回帰分析という。
Wikipediaより(https://ja.wikipedia.org/wiki/%E9%87%8D%E5%9B%9E%E5%B8%B0%E5%88%86%E6%9E%90)

つまり、
入力の変数が多変量、つまり多変数、つまりベクトル、つまり複数になる。
例えば、
2変数を想定すると以下のような式になる。
独立変数こと説明変数こと入力変数は $x, y$ とする。

$z = α x + β y + γ$

2変数(以上)で1つの結果が得られるような多項式の係数を求めるのが重回帰分析ということになる。

そして、これも正規方程式を利用すると一撃で解ける。

重回帰分析の二乗和誤差関数

以下が先の多項式に対しての二乗和誤差関数になる。

$\sum_{i = 1}^{n} {(α x_{i} + β y_{i} + γ) - z_{i}}^{2}$

単回帰分析と比較すると多変量になったことでイメージが沸きずらいかもしれない。
この場合、次元が少ない状態からの拡張をイメージすることしかできなくなる。
よって、単回帰分析のアナロジー(類推)として重回帰分析を見た方が良いだろう。

正規方程式の各成分の定義

$(A x - b)^{2}$ で最小化問題を解く場合はの各成分は以下となる。

$A = [\begin{matrix} x_{1} & y_{1} & 1 \\ x_{2} & y_{2} & 1 \\ ⋮ & ⋮ & ⋮ \\ x_{n} & y_{n} & 1 \end{matrix}], \vec{x} = [\begin{matrix} α \\ β \\ γ \end{matrix}], \vec{b} = [\begin{matrix} z_{1} \\ z_{2} \\ ⋮ \\ z_{n} \end{matrix}]$