回帰分析

いままでの知識の総動員すべく数式列挙。 二乗和誤差の偏導関数を元に最小化問題へ。 正規方程式がわかっていると、単回帰、重回帰、多項式回帰が一撃で解けるようになる。

二乗和誤差の偏導関数を元に最小化問題へ。 上記式を元に極小値を求める式へ。 これをxを求める式に変形したものが正規方程式。 正規方程式がわかっていると、単回帰、重回帰、多項式回帰が一撃で解けるようになる。

グラム行列が対称行列であることを利用して、二次形式であることを保証してしまう。 二次形式を保証した上で、それの偏導関数を利用する。

一般化した二乗和誤差の数式の変形を実施。 上記の途中で行列の積に対する転置で一見すると特殊な変形がある。 (Ax)^T=x^T A^T。 計算すると分かるが普通に等しい結果になる。

二次形式の行列表現。 二次形式の微分。 グラム行列。 二乗和誤差の一般化。

二乗和誤差に関しては、以前の最小二乗法の誤差関数で扱ってはいる。 「正しいを思われる線との誤差を2乗にしたもの」という意味自体は変わらない。 二乗和誤差を多変量で表現。 ベクトル、行列で表現する。 一般化した後に具体化して確認。

多変量について説明。 いっぱい変数あるってこと。 二乗和誤差を多変量で表現。 ベクトル、行列で表現するってこと。 一般化した後に具体化して確認。

二乗和誤差に関しては、以前の最小二乗法の誤差関数で扱ってはいる。 「正しいを思われる線との誤差を2乗にしたもの」という意味自体は変わらない。 しかし、今回はこれを多変量として一般化しようという話になる。

グラム行列の定義について説明。 グラム行列の性質について説明。 対称行列になる。 グラム行列が対称行列になることの証明。