MATLAB、Scilab、Scilab、Julia比較ページはこちら
https://www.simulationroom999.com/blog/comparison-of-matlab-python-scilab/
はじめに
の、
MATLAB,Python,Scilab,Julia比較 第2章 その28【正規方程式へ至る道】
を書き直したもの。
今回から回帰分析の基本的な方程式である正規方程式の話に投入。
1次関数以上の回帰分析
前回までで、1次関数の回帰分析こと最小二乗法が終わったところになる。
そして、これからは1次関数以外の回帰分析にチャレンジしていくことになる。
1次関数以外の回帰分析と言うと・・・。
- 2次関数、3次関数のように次数を増やして多項式回帰分析
- x,y,zのように変数を増やして重回帰分析
などが考えらえる。
尚、今までのやってきたのは1次関数の最小二乗法は単回帰分析になる。
で、この重回帰分析と多項式回帰分析をするには正規方程式が必要となる。
正規方程式
正規方程式は1次関数最小二乗法で使用した誤差関数である「二乗和誤差を多変量として一般化したもの」。
これだけで理解してもらえるとは思っていない。
よって、要素分解して、その要素を各個撃破していって正規方程式をを理解する方針とする。
正規方程式に至る道を要素分解して因果関係を結ぶと以下のような図になる。
この図を元に説明の流れを考えると、以下が妥当。
- 対称行列
- 二次形式
- 二次形式の微分
- グラム行列
- 二乗和誤差(の多変量一般化)
- 正規方程式
こういう図があれば、どこの理解が抜けたとかも確認できるし、作っておいた方が良いだろう。
まとめ
- 1次関数最小二乗法こと単回帰分析のあとは重回帰分析、多項式回帰分析にチャレンジ。
- 重回帰分析、多項式回帰分析を行うには正規方程式が必要。
- 正規方程式を導出するまでの因果関係を図示した。
MATLAB、Python、Scilab、Julia比較ページはこちら
社会のなかの数理 [新装版]──行列とベクトル入門──
なっとくする演習 行列・ベクトル なっとくする演習・行列 ベクトル (なっとくシリーズ)
ゼロからはじめるPID制御
基礎からわかる時系列分析―Rで実践するカルマンフィルタ・MCMC・粒子フィルタ― Data Science Library
観測と最小二乗法―測量・G空間データの解析
ディジタル画像処理[改訂第二版]
高校数学でわかるフーリエ変換―フーリエ級数からラプラス変換まで (ブルーバックス)
マンガでわかるフーリエ解析
入門信号処理のための数学―離散フーリエ変換・離散コサイン変換
はじめて学ぶディジタル・フィルタと高速フ-リエ変換: 基礎・原理からよく理解するための (ディジタル信号処理シリーズ)
コメント