バックナンバーはこちら。
https://www.simulationroom999.com/blog/compare-matlabpythonscilabjulia2-backnumber/
はじめに
正規方程式を導出するまでの説明。
今回から、いままでの知識を総動員して正規方程式を導出する。
登場人物
博識フクロウのフクさん
イラストACにて公開の「kino_k」さんのイラストを使用しています。
https://www.ac-illust.com/main/profile.php?id=iKciwKA9&area=1
エンジニア歴8年の太郎くん
イラストACにて公開の「しのみ」さんのイラストを使用しています。
https://www.ac-illust.com/main/profile.php?id=uCKphAW2&area=1
ロードマップ【再掲】
今回から正規方程式の話に突入する。
ロードマップ上で確認しておこう。
まさに山場ってところだねー。
いままでの知識の総動員
正規方程式を導出するのにいままでの知識を総動員する。
具体的に以下。
- 二次形式
- 二次形式の微分
- 対称行列
- グラム行列
- 二乗和誤差
まぁロードマップ的にもそんな感じだよね。
というわけで、それぞれの数式を再掲しておこう。
二次形式の行列表現(\(A\)は対称行列)
\(
x^TAx
\)
二次形式の微分(\(A\)は対称行列)
\(
\nabla x^T Ax=2Ax
\)
グラム行列(必ず対称行列になる)
\(
G=A^TA
\)
二乗和誤差の一般化(多変量化)
\(
L(x_1,\dots,x_n)=(A\vec{x}-\vec{b})^2
\)
確かに、これまでに導出してきた数式だね。
知識の組み合わせ
で、これらをどう組み合わせるの？
流れとしては以下になるな。
- 一般化した二乗和誤差の数式を変形
- 上記式の中にグラム行列の存在とそれに伴う二次形式であることの保証
- 二次形式の偏導関数を元に最小化問題化
- 正規方程式の導出
- 実際にいろいろな回帰分析をやってみる。
まだいろいろとごちゃごちゃとしてものがあるんだな。
まぁそれぞれはそれほど複雑な話は無いと思うよ。
複雑な部分は事前に片付けたと思って良い。
まぁそのためにロードマップがあったわけだからね。
まとめ
まとめだよ。
- いままでの知識の総動員すべく数式列挙。
- 二次形式の行列表現。
- 二次形式の微分。
- グラム行列。
- 二乗和誤差の一般化。
バックナンバーはこちら。
コメント