バックナンバーはこちら。
https://www.simulationroom999.com/blog/compare-matlabpythonscilabjulia2-backnumber/
はじめに
正規方程式を導出するまでの説明。
今回は、以下の説明。
- グラム行列の存在とそれに伴う二次形式であることの保証について。
- 二次形式の偏導関数を元に最小化問題化。
登場人物
博識フクロウのフクさん
イラストACにて公開の「kino_k」さんのイラストを使用しています。
https://www.ac-illust.com/main/profile.php?id=iKciwKA9&area=1
エンジニア歴8年の太郎くん
イラストACにて公開の「しのみ」さんのイラストを使用しています。
https://www.ac-illust.com/main/profile.php?id=uCKphAW2&area=1
ロードマップと前回の二乗和誤差の変形式【再掲】
恒例のロードマップ。
これの正規方程式のところだね。
そして、前回導出した、二乗和誤差の変形式を再掲しておこう。
\(
\begin{eqnarray}
(Ax-b)^2&=&(Ax-b)^T(Ax-b)\\
&=&(\color{blue}{x^TA^T}-b^T)(Ax-b)\\
&=&x^T\color{red}{A^TA}x-2x^TA^Tb+b^Tb
\end{eqnarray}
\)
グラム行列の存在とそれに伴う二次形式であることの保証
先の式の赤字の部分の\(\color{red}{A^TA}\)なんだが、
これってグラム行列なんだよね。
言われてみればそうだ！
よって、この部分は対称行列であることが保証される。
これにより、\(x^T\color{red}{A^TA}x\)は二次形式であることが保証される。
確かに！
二次形式の偏導関数を元に最小化問題化
そして、二次形式の偏導関数を用いて、最小化問題にしてしまう。
\(x^T\color{red}{A^TA}x\)の微分は\(2\color{red}{A^TA}x\)であることが保証されている。
よって以下になる。
\(
\nabla(Ax-b)^2=2A^TAx-2A^Tb
\)
どんどんシンプルになっていくなー。
ここまでくれば、正規方程式までもう一歩ってところだ。
まとめ
まとめだよ。
- グラム行列が対称行列であることを利用して、二次形式であることを保証してしまう。
- 二次形式を保証した上で、それの偏導関数を利用する。
バックナンバーはこちら。
コメント